【微分享】索尼黑科技——体积空间捕捉技术赋能电影制作

建立在坚实技术基础上的创意娱乐公司”索尼，始终以“人”为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创前所未有的娱乐表达方式。 “索尼黑科技”专栏将定期为您介绍较具代表性的索尼技术创新成果，探索如何“用创意和科技的力量感动世界”。本期将为您带来的是索尼正在研发的一种虚拟制作技术——体积空间捕捉技术（Volumetric Capture）。

使用空间现实技术进行电影制作

       体积空间捕捉技术指的是通过多台摄像机拍摄创建3D CG影像（计算机动画），并利用这些数据制作出看起来像是在真实地点拍摄的视频。目前，索尼公司的研发中心、索尼影视娱乐公司和专门从事虚拟制作的索尼创新工作室正在合作制作可用于电影制作的高质量视频。

受访人资料：

相互改进技术，追求全新的视觉表达

Q：索尼公司的研发中心、索尼影视娱乐公司和索尼创新工作室是如何合作的？

田中：索尼创新工作室于2018年在美国卡尔弗城的索尼影视娱乐公司所在地成立，是一家利用包括体积空间捕捉技术在内的各种技术从事虚拟制作的特别工作室。在索尼创新工作室成立之前，索尼影视娱乐的视觉制作团队就对索尼研发中心的体积捕捉技术表示出了兴趣。在2018年6月索尼创新工作室的启动仪式上，我们透露了与索尼影视娱乐共同研发的实时空间捕捉系统。

Q：在启动仪式上，您展示了什么？

田中：我们将事先录制好的主持人的3D影像与现场主持人的影像混合在一起，进行实时的演示，让人觉得有两个人在一起。逼真的图像质量让嘉宾们大吃一惊。
 

Q：从那以后，索尼公司和索尼创新工作室似乎一直在合作？

田中：索尼创新工作室开幕式之后，我们研发中心提出了将体积空间捕捉技术引入日本音乐产业的想法，而索尼创新工作室则追求更高的影像质量，我们也一直以这项技术的新高度为目标。较近，我们开始尝试将使用体积空间捕捉技术拍摄的角色放置在由索尼创新工作室以独特技术创造的虚拟空间中。他们所创造的空间具有很高的图像质量，不知道的人都会觉得好像是在真实的地点拍摄的一样，所以我们拍摄视频的图像质量无法达到他们的要求也是意料之中。为了实现更好的画质，我们决定让我们较优秀的工程师到索尼创新工作室现场体验实际制作，以期与创作者一起进行技术合作。
 

更真实、更简单。以能够实际应用于电影制作为目标

Q：在这次合作中，索尼公司带来了什么样的优势？

加治：体积空间捕捉技术的主要优势是利用3D电脑视觉的渲染技术，即使在没有安装摄像机的视点也能创建视频。如果你试图从实景视频中创建3D数据，无论工艺多么精细，形状都会与现实有差异。在此基础上添加色彩，只会让它看起来更不自然，更像CG。因此，我们引入了索尼独特的影像逼真渲染技术，可以充分利用拍摄的视频创造出看起来像用传统相机拍摄的自然影像。虽然目前还没有实现真正意义上的相机拍摄效果，但我们将继续开发该技术，将画质提高到可以应用于电影制作的程度。
 

Q：听说您在视频编辑工作方面也有一些计划，请问您是怎么做的？

加治：我们目前正在研究将之前拍摄的图像自动转化为3D模型的技术。要制作高保真的3D模型，需要高度精确的校准，目前，研发中心已经成功实现了这一过程的自动化，并同时强调了实时性，这可以大大减少视频编辑所需的时间和精力。在索尼创新工作室的电影制作中，很多情况下作品的艺术性需要人工处理，这需要花费大量的时间。另一方面，虚拟制作需要处理比平时更庞大的数据量，这就需要很长的时间来处理和编辑，索尼的自动化技术对提高制作效率很有帮助。
 

由索尼的渲染技术生成的3D CG模型

生成宛如现场实际拍摄的图像

让新的视频体验更加触手可及

Q：我们可以期待怎样的发展和可能？

田中：虚拟制作可以远程制作看似在现场拍摄的影像。我们相信，通过应用这项技术，我们将能够创造出一种即使相隔很远，也能让人有身临其境的体验。我们的较终目标是让科技变得更加生活化，并将这种体验直接传递给客户。特别是在新冠病毒大流行的情况下，我们认为虚拟制作的重要性正在稳步提升。我们希望通过继续全力投入研发这项技术，与索尼创新工作室一起建立新的视频制作环境，为电影产业做出贡献。
 

加治：我们相信，索尼创新工作室为追求较高画质的体积空间捕捉技术提供了较佳环境。我们将继续努力实现更好的图像质量，同时加强与各领域合作伙伴的合作，我们相信这些活动将带来新的体验。