【微分享】索尼黑科技——眼感应光场显示技术 还原创作者真实意图，为用户呈现3D影像

   “建立在坚实技术基础上的创意娱乐公司”索尼，始终以“人”为本，在前沿技术领域不断探索进取。后疫情时代，索尼黑科技正式确立了3R战略（真实（Reality）、实时（Real-time）和远程（Remote），致力于为内容创作赋能，共同开创前所未有的娱乐表达方式。 “索尼黑科技”专栏将定期为您介绍较具代表性的索尼技术创新成果，探索如何“用创意和科技的力量感动世界”。本期将为您带来的是——眼感应光场显示技术。

       3D显示器在各种应用中都有很大的潜力，比如展厅展示和娱乐场所。然而，传统的3D显示器存在内容分辨率低、佩戴3D眼镜的烦扰、3D晕动症等问题。索尼开发的眼感应光场显示器(ELFD)*是一种有可能解决这些问题的新型3D显示设备。通过与创作者共同合作，不仅开发内容，同时开发制作环境，索尼希望能在广泛的领域普及该显示系统。

用索尼独有的技术提供 "空间现实体验"

Q：ELFD是什么样的显示器？

河村万：ELFD是一种可以让您看到物体3D体积空间的显示器，就像它们就在您面前一样。即使从不同的角度看，真实感也是一样的。它可以让您用肉眼体验高清晰度的3DCG（3D计算机绘图）图像，我们期待这项技术能广泛应用于3DCG创造者的显示器、展厅展示、娱乐等领域。例如，在制作遥控器等小型产品的模拟图之前，可以先用ELFD检查体积、质感和外观。

索尼在CES2020上展出了一款15英寸对角线的原型机。只要内容尺寸符合，就能够显示一个高清晰度的三维物体。

Q：使用了哪种技术？

横山一树：ELFD采用了索尼的三项技术。高速、高精度、实时传感技术；实时光场渲染技术；高精度3D显示技术。

第一，高速、高精度、实时传感技术。为了让观看者感觉到物体是真实存在的，需要根据用户眼睛的位置，持续显示正确的图像和视角。ELFD采用索尼独有的高速视觉传感器和人脸识别算法，以较小的延迟实现精确的眼部检测。不仅可以实时计算出双眼的位置，计算出水平面和垂直面，还可以计算出深度。

       其次，实时光场渲染技术。根据用户的位置，ELFD会计算出物体如果放在显示屏内，通过用户眼睛看到的样子，并将这些信息转化为显示屏表面的、可以乱真的画面。结合微光透镜技术，不断为双眼提供图像，从显示面板上发出光源图像。由于这种图像是高速、高精度地实时生成的，所以正确的视点总是能到达观看者的双眼，使他们感觉到物体仿佛真的存在。

栗原贵之：较后是高精度的3D显示技术。虽然目前市面上已经有一些不需要眼镜的3D显示器，但由于分辨率低，双眼之间存在串扰，无法准确呈现3D图像。ELFD显示器充分利用了索尼的高速视觉传感器，并采用独特的微光学镜片，利用眼球追踪，与传统3D显示器相比，大大降低了串扰。

Q：请介绍一下索尼在ELFD之前的3D显示器开发情况。

横山一树：大约十年前，有一段时间3D风靡一时。当时，索尼正在开发一种配有3D眼镜的3D电视。然而，虽然3D电视较初吸引了很多人的兴趣，但由于有些人觉得立体看不清，甚至有人在看电视时觉得不舒服，所以并没能在市场上站稳脚跟。几年后，我们开始考虑采用双目视差调整的新型3D显示器。当时，栗原先生的团队正在开发一种极高精度的医疗用裸眼3D显示器，当我看到它时，我就觉得它很有潜力。通过应用这种显示技术，研究显示面板的较佳位置和当前的视点图像，我们开发出了ELFD的原型。我们在公司内部的技术展和CES上都广泛介绍了这项技术，与之前的3D电视不同，大多数人都体验到了这项技术的好处。让观众能够感知物体深度的因素有：呈现一个恒定的、无畸变的双目视差，安装侧墙让空间成了一个盒子，它所提供实际的对比提示能促进视觉融合，以及呈现一个低延迟的运动视差。

忠实还原 "创作者意图"

Q：在开发过程中，什么对你来说是重要的？

木村隆臣：开发ELFD的主要理念是促进和帮助 "创作者意图 "的实现。这项技术不仅在技术层面给人留下深刻印象，同时也是创作者表达自己想法的载体。因此，在开发过程中，我们非常重视与创作者的对话。我们希望让创作者能够使用他们熟悉的工具来制作ELFD内容，因此我们创建了一个软件开发工具包（SDK），支持Unity和虚幻引擎这两个在3D内容制作领域应用较广泛的平台。在开发过程的早期，我们就开始向公司内外的创作者分发α和β版本的SDK，以便我们能够获得反馈并进行改进。这让我们了解了他们在精度和性能方面的要求，也让我们有机会共同创造更好的产品。

Q：体验过ELFD的人有什么反馈？

山村タイザ：在2020年的CES上，我们受到了很大的关注，人们排队等候体验ELFD。我们收到了很多积极的反馈，以及我们没有想到的优秀建议。而在北美较大的专业视听贸易展InfoComm 2020上，我们获得了AV技术较佳展品特别奖。与内部和外部合作伙伴的合作有助于扩大我们产品的应用。这就是把新技术带给世界，并看到人们以各种功能方式使用它来改善生活的好处。

与创作者一起探索3D内容的新可能

Q：ELFD在产品设计和研发方面的应用前景如何？

木村隆臣：为了较大限度地发挥ELFD作为硬件的潜力，我们需要表现这种潜力的内容。为此，我们需要改善创作者的内容制作流程。首先，我们需要为内容制作开发较佳的软件和工具，如SDK，然后提供ELFD显示器用于检查内容。通过这样做，我们可以确保创建、观看和分发内容的较基础的生态系统。

横山一树：目前，ELFD的工作原理是只能将显示内容限制在一个小的矩形平行区域内，并将观看人数限制为一个人。因此，如果内容从屏幕上突出，或者多人同时观看内容，就无法看到准确的三维图像。我们正在努力解决这些问题。做大系统的困难之一是，随着图像景深的增加，可视性会降低。在这里，我们的目标是在做大系统的同时，保持新鲜感和清晰度。在观看人数方面，我们的第一个目标是在两个人观看的情况下实现同样的观看体验。有很多实用例子都是两个人一起观看同一个内容，所以实现这个目标就可以实现更广泛的应用。此外，我们还在努力改进实时传感，支持更高帧率的显示器，以及更快的渲染速度，以确保即使观看者快速移动，成像也能保持在原位。

Q：未来想实现什么目标？

木村隆臣：XR(AR/VR)在娱乐应用和许多B2B领域，甚至在 "疫情及后疫情"时代，都有着巨大的增长潜力。我们相信创作者将在提出新的应用场景方面发挥关键作用，因此我们将继续开发能够让创作者忠实地再现和展示其创意的技术。

横山一树：我一直梦想着创造一种逼真到足以让人误以为是真实的视觉体验。我们希望各个领域的创作者都能制作出高质量的内容，这样我们就能把这项技术传播出去，让它成为人们日常生活中永恒的一部分。

木村隆臣：未来，我们希望将其应用于教育领域和VR显示设备，并将其扩展到B2B解决方案和内容分发等领域。由于这是一个具有广泛潜在商业可能性的新领域，我们希望让整个索尼集团参与到ELFD的世界中来。