【微分享】索尼黑科技专栏——拓展360临场音效生态，打造沉浸式音乐体验

    “建立在坚实技术基础上的创意娱乐公司”索尼，始终以“人”为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创前所未有的娱乐表达方式。“索尼黑科技”专栏将定期为您介绍较具代表性的索尼技术创新成果，探索如何“用创意和科技的力量感动世界”。 本期将为您带来的是——360临场音效。

    索尼360临场音效让听众沉浸在仿佛来自四面八方的声音中，似乎乐队就在眼前演奏。自2019年秋天推出以来，集成索尼集团技术积累而打造的这种全新音乐体验，通过与著名艺术家的成功合作，获得了人们的关注。目前，索尼正在构建一个生态系统，将这一体验带给全世界的人们。

受访人信息：

球形声场带来的沉浸式体验

──究竟什么是360临场音效？

富冈万紀：360临场音效是一种全新的音乐体验，使用索尼基于对象的音频技术创造一个逼真的声场。我们通过提供制作、分发和播放兼容内容所需的技术，打造一个开放的生态系统。具体来说，在内容制作过程中，位置信息被附加到每个声源上，如人声、和声、乐器等，并被置于一个球形空间内。为了将这种新的娱乐形式顺利地推介给广大用户，索尼向创作者和艺术家提出了一系列技术建议。自2019年秋季该服务推出以来，欧洲、美国和亚洲的多个流媒体服务已经发布了不同类型的兼容音乐。

──360临场音效与其他立体声场的体验有何不同？

海野由紀子: 它有三大特点。首先，由于它从制作到分发都是基于对象的，因此可以根据不同播放设备上的各种收听方式进行调整，从而实现高质量的声场再现。这里的"基于对象"是指根据接收方的喜好和音频系统传递声音素材和元数据，生成音频信号的方法。再则，在内容创作过程中，创作者和艺术家可以将人声、和声、乐器等声源自由定位在一个球形的空间内。还有一个较重要的功能是，通过智能手机拍摄的耳朵照片分析个人的听觉特征，可以针对个人进行声学优化，让他们在使用耳机播放的情况下也能享受到360临场音效的音频体验。除此之外，它基于MPEG-H 3D音频国际标准，因此可以在整个音乐行业广泛使用，该格式可以通过智能手机和其他移动设备进行流媒体播放，是音乐分发服务的理想选择。

──哪些技术是用来分析个人听觉特征的？

福田和巳: 为了重现身临其境的空间声场，针对每个听众的独特听觉特征优化播放效果是非常重要的。当声音到达你的耳膜时，它已经在几个不同的表面上进行了反射和衍射，包括地板、墙壁，甚至你自己的身体。声音的特性会根据人的耳朵与声源的相对位置发生变化，人们会根据这些差异下意识地判断声音来自哪里。360临场音效就是利用这些声音特性，让人产生从耳机外听到声音的感觉，从而再现空间声场。然而，人的耳朵和头部形状不同，对声音的感知也不同。因此，要想获得更深的沉浸感，就必须进行个性化优化。我们开发了一种个人优化算法，根据我们记录头部/耳朵形状和听力特征之间关系的专有的数据库，利用机器学习从耳朵的照片中预测听觉特征。因此，通过使用"Sony | Headphones Connect"应用程序拍摄耳朵照片，用户可以使用云端的算法分析自己的听觉特征，并创造优化的声音体验。

虽然使用任何厂商的耳机都可以享受到兼容360临场音效的内容，但若想打造更为优化的聆听体验，则需要索尼耳机对于个人听觉特征的分析。上图中行业领先*的WH-1000XM4降噪耳机就是索尼的推荐产品之一。

*截至2020年4月21日，基于索尼研究，采用符合JEITA标准的准则测量，指头戴式降噪耳机市场。

──开发和推出这项服务较困难的部分是什么？

海野由紀子：提高个性优化声音体验的准确性是一个挑战。索尼基于用户耳朵的照片推断个人听觉特征的专有技术，集成了图像处理技术、人工智能技术、空间声学理论和人耳数据库，且都为自主研发。我们为这个想法感到非常自豪，但要将其付诸实践，我们需要复查数据库并为用户创建拍摄照片的方法。模型推出之前，我们做了很多准备工作。一开始，我们努力提高音质和听源定位，使得很难界定个性优化的标准。于是，我们从头审视了处理流程，找出了影响准确性的处理模块。通过集中精力改进这些模块的算法，我们得以改善了音质和听觉定位。我们非常感谢那些帮助我们进行大量评估的人。较终，我们能够实现发布更加沉浸式的声音体验。该产品在日本和海外都进行了评估。我们设置了可以体验360临场音效的试听室，并为广泛的听众进行了音质评估。我们对这种新的音乐体验将如何被接受感到紧张，但还是得到了非常积极的反馈，比如 "就像被声音包围了"，"就像置身于现场音乐会中"。这给我们推出这一服务增强了信心。

优化听觉特征，让用户体验到沉浸感，如同置身演出现场。

富冈万紀：在推出之前，我们面临着一项新业务会遭遇的所有挑战。我们与唱片公司、艺术家、混音工程师和音乐发行公司进行了艰难的谈判。我们还前往海外，向尽可能多的人展示360临场音效的价值。这种全新的音乐体验有望促进行业发展，我们认为，如果人们能够理解我们所提供的价值，合作伙伴范围将会扩大。果不其然，甚至是那些较初对空间音效持怀疑态度的人，在我们演示后也给予了非常积极的反馈，演示后也总会引发进一步的讨论。

调动整个音乐产业参与内容制作

──你们也在专注于创造兼容的内容。除技术开发外，为什么还关注内容创作？

富冈万紀：制作各种高质量、有吸引力的内容，是为人们创造一个新的生态系统，使其享受360临场音效等空间音频的关键。索尼的研发中心、索尼家庭娱乐和音频产品公司和工作室工程师密切合作，推动内容制作直至该服务推出。

──你们是如何合作为360临场音效创作内容的？能否介绍一下你们的具体工作流程？

福田和巳：研发中心开发了360临场音效制作工具，并提供给各大厂牌的制作工作室。这些制作工具可以让工程师在球形空间内自由放置乐器和人声，而工具中所搭载的空间音频技术可以让他们使用耳机和扬声器确认位置。

富冈万紀：业务开发部将制作的基础设施引入到索尼音乐娱乐公司（SME）及其附属的一些工作室，并对其工程师进行了内容制作方面的培训。在与流媒体服务商讨论了可行的内容后，我们会接洽唱片公司，并请他们制作。我们还开发了一个360临场音效应用程序，用于处理艺术家对混音歌曲的审批。

海野由紀子：产品技术二部与业务开发部及工作室工程师合作，挖掘了一连串的内容制作技巧。通过多次尝试和试验，我们总结出了一套能有效产出360临场音效的听觉定位、空间感、韵律感等关键特征的方法。

Mark Wilder：Battery studios（索尼音乐娱乐公司位于美国纽约的音乐制作机构）与各个团队携手合作，为软件和技术进步提供想法，并帮助准备来自SME和其他唱片公司内容。Battery Studios致力于“One Sony”战略，这是一个非常充实的过程。

为世界各地的用户提供感动人的音乐体验

──能和我们分享未来的计划和发展潜力吗？

富冈万紀：自2019年10月在纽约举行360临场音效发布会以来，我们收到了很多来自业内专业人士和用户的积极反馈，360临场音效的市场占有率也在稳步增长。日前我们一直在努力发行The Chainsmokers和Kane Brown等索尼音乐娱乐旗下热门艺人的歌曲。未来，索尼计划在各个国家建立合作关系，旨在进一步扩大用户群。

Kane Brown利用360临场音效发布了两张较新专辑

海野由紀子：我想，我们能够在新兴的空间音频领域创造出这一全新的音乐体验，要归功于我们员工多样化的知识储备。我们希望大家能享受这种全新的、沉浸式的声音体验。我们将继续挑战在音频领域开发新技术。

Mike Piacentini：在过去的几年里，看到索尼集团全体员工齐心协力在不同国家跨不同的业务集团共同推出一款产品，我感到非常荣幸。

福田和巳：在瞬息万变的社会环境中，娱乐业不断发展，我希望为用户提供全新的音乐体验，并寻找新的方式为他们提供感动（kando）。