【微分享】索尼黑科技专栏——连接现实和虚拟世界的现场音乐体验 彻底拉近歌迷、艺术家和内容之间的距离

    “建立在坚实技术基础上的创意娱乐公司”索尼，始终以“人”为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创前所未有的娱乐表达方式。“索尼黑科技”专栏将定期为您介绍较具代表性的索尼技术创新成果，探索如何“用创意和科技的力量感动世界”。本期将为您带来的是——连接现实和虚拟世界的现场音乐体验。

    新冠肺炎疫情加速了音乐活动在线直播的发展。与此同时，这些经历让人们意识到，没有观众的在线直播音乐会与真实的亲身体验有多么不同。因此索尼决心解决这个问题。作为其 " Lindbergh项目"的一部分，这是举全集团之力推进的扩展现实（XR）娱乐计划，索尼旨在提供一种全新的体验，通过使用VR技术连接艺术家和粉丝，来连接现实和虚拟世界。为了了解更多关于这个项目现在的情况和未来的走向，我们采访了项目开发负责人今村隆和负责UI/UX和交互开发的高桥一真。

受访人资料：

索尼对于全新VR现场音乐活动体验的愿景

Q：您所说的 "连接现实和虚拟世界的现场音乐体验" 是什么意思？

今村隆：索尼并不是唯一一家寻求使用VR技术向粉丝提供现场音乐体验的公司。现在市场上已经有了一些服务。大多数情况下，VR摄像机被安装在会场，内容通过头戴式显示器展示给观众，让观众在家中进行观看。但是，艺术家的表演并不是在那个物理空间中唯一发生的事情。在现场，你可以感受到周围兴奋的粉丝的热情，享受与艺术家的互动，并在周边商店里购买商品和其他物品。如果没有这些元素，虚拟就远远不如真实的体验。我们要做的是将这些真实体验的价值转化并移植到虚拟世界中，同时也为体验添加一个独特的虚拟维度，创造全新的价值。

连接现实和虚拟世界的现场音乐体验——它看起来是什么样的？

场馆大厅

在演出前，在大厅与你的朋友见面，分享你对即将到来的演出的兴奋，选择一个荧光棒或其他物品带入会场，而且可以在音乐会前试用一下。

在舞台前

即使在现场表演时也可以与朋友互动，一起为表演者加油。你甚至可以鼓掌和挥舞荧光棒或其他物品来表示支持。你不仅可以看到你的朋友，同时也可以看到会场上所有其他的粉丝。

演出过程中

现场表演不仅仅是流媒体音乐和视频，还带有互动功能：观众的座位与视频同步移动，艺术家可以回应他们激动的粉丝，向他们发送飞出的心等等，使舞台表演更加精彩。

演出结束后

演出结束后，你回到大厅，可以一边享受演出的余韵，一边与朋友谈论音乐会的情况。在演示时，还向用户发送了领取演出照片的机会（甚至会有惊喜，如隐藏在照片背面的艺术家的签名或留言）。

Q：这个项目是什么时候开始的？怎样开始的？

今村隆：这段时间，我们一直致力于现场音乐空间的VR流媒体方面的探索，2019年12月在PlayStation® VR上取得了显著的成功。从那时起，我们一直在努力改进VR拍摄技术，以提高图像质量。我们还参与了一些与提供场地音频有关的不同挑战，这是在线音乐活动体验的重要方面。在这个领域，我们实现了Survive Said The Prophet的VR音乐体验，它在2020年获得了美国的Lumiere Award大奖。然而，当我们与音乐现场的粉丝交流时，得到的反馈很明显，仅仅提供音频和视频是不够的。他们说，团结统一的现场感是很重要的。我们想知道，如何能够利用技术将这些体验带入生活，这个项目就应运而生了。

高桥一真：从那时起，我们进行了大量的讨论，意识到除了音乐表演本身之外，表演前与朋友聊天、享受音乐余韵以及身处环境中的高雅氛围等方面都是现场表演的重要内容。我们一致认为，逼真的高画质、近距离接触艺术家、随意改变摄像机角度等元素是VR现场体验的较佳部分，但仅有这些元素是不够的。

今村隆：我认为在目前的疫情挑战下，现有的远程在线演出形式意义非凡。但是，你只是在客厅里用智能手机的小屏幕观看，在演出结束的那一刻，乐趣就结束了，而且没有办法享受前后的气氛，这有点遗憾。

连接艺术家与粉丝，粉丝与粉丝

Q：在虚拟空间中重现音乐活动现场的气氛时，有什么要着重注意的吗？

今村隆：较重要的是要避免任何沉浸感的削弱。你需要避免任何将用户拉回现实并让他们思考 "等等，我在做什么？"的事情。在这方面，我们所做的一件事是尽量减少控制，使其简单而直观。我们开发了更多的物理控件，让用户真正地拍手和竖起大拇指，而不是像过去的音乐VR内容那样，按下控制器上的一个按钮来挥舞荧光棒。这比我们想象的更有效，让用户有一种通过移动身体而与音乐同步摇摆的感觉，使整个体验更加有趣。

高桥一真：你刚才看到的演示带有预先录制好的音乐会片段，包括艺术家们准备好的虚拟反应，但如果你尝试一下，仍然可以享受到与艺术家互动的感觉。你可能会大喊大叫，结果艺术家还是与你旁边的人互动，而不是跟你互动......但这让你觉得要更大声的呼喊才行。艺术家和粉丝之间的这种联系，以及粉丝和其他粉丝之间的联系，是我们的一个关键重点。

你说的对—在现场和同龄人在一起，在感受他们的动作和声音的同时享受表演，真的感觉很新鲜。

今村隆：适当控制观众群内的交流也是非常重要的。目前，演示系统允许多达28个用户同时参与同一现场音乐活动，但你只能较多与四个人通过语音聊天密切交流。与这四个人之外的参与者的互动仅限于非语言交流；你听不到他们说什么，但可以听到他们鼓掌，看到他们挥舞荧光棒。

高桥一真：除了保持朋友之间的密切沟通，我们非常注重保证周围粉丝的真实感。你周围的观众看起来并不会像CG或机器人简单地挥舞着他们的荧光棒，我认为这有助于增强演出中的沉浸感。

今村隆：观众座位的安排是为了让每一个参与者都有一个较好的座位来享受音乐会。这是只有在VR中才能做到的。当然，粉丝们喜欢这样，但内容创作者和艺术家也喜欢这样，因为这可以让他们在演出中向每一位观众准确地展示他们想要的东西。尽管如此，我们还是要注意保持参与者在群体中的相对位置，以便在与朋友交流时不会出现矛盾的动作，例如在相互挥手时。

在索尼多元资产的高歌猛进中促进技术的进步

Q：你在 " Lindbergh计划 "中的经验是如何被用来实现这一切的？

今村隆：" Lindberg "是我们在过去三年中一直致力于的一个全集团项目，我们不断与这些领域的专家讨论拍摄、成像和音频技术。在这次构建互动体验时，我们也参考了互动技术团队的原型。

高桥一真：虽然我们以前也参与过一些集团范围内的项目，但对我们来说，这是个特殊的机会，可以与艺术家和娱乐行业的其他人如此紧密地联系在一起。我们让娱乐专家看了我们这些技术领域的人创造的原型，并一起工作，来解决批评意见，并纳入他们的想法和建议，以提出新的体验。

今村隆：更具体地说，具有不同背景的团队成员集思广益，创造出一个抽象的、独特的VR现场音乐体验的概念。然后，由高桥一真领导的创意中心团队通过故事板将这个想法可视化。然后，这些具体的想法由团队成员审查，并检查是否有与概念不一致的地方。有时，技术团队成员会创建一个简单的原型来验证这个概念。我们一遍又一遍地重复这个过程，较终形成了现在的体验。

因为我们倾向于从技术出发提出想法，所以索尼音乐团队成员的意见对于了解艺术家和娱乐行业其他人的观点是非常有用的。类似的激烈讨论持续了大约三年，而讨论的精髓已被应用到当前的演示中。

挑战：提供低延迟的艺术家互动

Q：在这个过程中，有没有什么技术障碍是一个特别的挑战？

高桥一真：在我的设计领域里，可能是要找出视觉表达的解决方案。虽然我在电视等显示的二维视觉设计方面有很多经验和知识，但在用户可以随意移动的三维空间里，这些经验在很多情况下是完全没有用的。例如，2D图像中的一个微不足道的指令，如闪亮的粒子雨，在虚拟空间中看起来与你的预期可能完全不同，会难以看清。解决此类问题是体验中令人耳目一新的部分。

Q：你认为未来会遇到哪些技术上的障碍？

高桥一真：我想继续接受挑战，即如何利用技术和设计来较好地展现艺术家的表演。我们怎样才能让周围只有绿色屏幕的艺术家们看到，他们的粉丝正在虚拟的会场空间里为他们加油呢？这就是数据可视化——我们的专业领域的意义所在。现在，我正在研究如何让艺术家看到如：右边的粉丝挥手欢呼，而其他人则用荧光棒在空中写写画画。

今村隆：关于艺术家与粉丝之间的交流，演示中使用了从场景中心发出的互动效果。然而，在实际的现场表演中，我们将需要使用传感器来跟踪身体动作，如脸部位置和手部动作，并在此基础上产生特殊效果。索尼的传感器和相机技术将在这方面发挥巨大的作用。展望未来，我想继续追求一种在实际现场音乐表演中无法获得的体验，一种超越现实生活的体验。

在此基础上，我们将需要解决延迟问题。以目前的流媒体技术，这种规模的内容将导致约20秒的单向延迟。这么长的延迟会扼杀艺术家和粉丝之间任何形式的真正交流。为了解决这个问题，我们不仅需要技术解决方案，还需要对用户体验进行更多思考。这个解决方案可能需要在音乐会场地建立某种基础设施，由于场地业务是索尼音乐集团的专长，我相信他们能想出一些独特的 "索尼方案"。

扩展到现场音乐表演之外的发展前景

Q：您能谈谈超越现场音乐活动体验的发展前景吗，将现实和虚拟世界连接起来？

今村隆：我认为除了现场音乐活动，我们还可以在其他领域使用这种形式。这会有很多的可能性。它可以用于教育，以观众参与的形式放映电影，这在较近变得很流行，也可以用于其他领域。我想把它扩展到取决于交流的内容和体验。

高桥一真：我期望这项技术可以用来拉近粉丝、艺术家和内容之间的距离。在未来，我想创造一些东西，让人们在同一时间分享经验，同时实际存在于同一空间。分享的同时性是特别重要的。我认为，彼此分享千载难逢的时刻是体验的核心和灵魂。

今村隆：我认为通过这一举措，我们终于成功地创造了一种体验，其中包括允许人们在虚拟空间中真正享受某些东西的基本要素。我相信，从这里开始，通过添加各种技术元素，我们可以创造出令人惊奇的、全新的东西。

Q：较后，请告诉我们一些你认为只有索尼能做或创造的事情。

今村隆：索尼的神奇之处在于，我们在集团内部拥有大量的专业知识技能。如果你去市谷或六本木的索尼音乐集团，你可以和娱乐行业的人交谈。如果你去Sony City，或厚木技术中心，你可以见到相机和图像传感器工程师，如果你去大崎，你可以见到音频工程师和研发团队。我相信与所有这些伟大的人讨论想法、尝试新事物和创造新经验的能力是其他公司无法复制的。如果任何人有兴趣通过成为一个杀手级团队的一部分，并与其他团队的专业人才相互交流来创造新的东西，请到索尼来看看我们。