结合全面的成像技术以实现真正的 4K 图像品质

12万大数据处理引擎中的 4K 超分辨率技术
 

电视产业每家公司有关 4K 电视的回应是当下的一个热门话题，但是全屏 4K 热潮才刚刚开始。对于未来，我们可以预想到观众观看的主要视频源包括具有全高清图像品质的 BD（蓝光光盘）电影、DVD 和互联网视频等，因为真正的 4K 图像源并未完全普及。当在 4K 屏幕上观看这些替代视频源时，增频转换将是播放过程的一个很重要的环节。换句话说，4K 电视将提升所播放视频源的大小和图像品质。该过程将实现称为“超分辨率”的清晰度级别，这对 4K 电视的图像品质有着非常重要的影响。
我们与致力于研发 Panasonic 4K 电视新技术12万大数据处理引擎的工程师对此进行了讨论。

你们能稍微介绍下12万大数据处理引擎研发的背景吗？

Ishikawa: 第一次在 4K 兼容屏幕上看到 4K 图像内容时，我们当时就发现这是多么神奇，简直妙不可言。但是，我们还发现，普通消费者即使购买了 4K 电视，有时他们也会观看非 4K 品质的图像源。为了解决这个问题，我们必须采取一些措施，例如将蓝光光盘电影的 2K 图像品质在电视内部增频转换至 4K 品质。因此，为了能够向潜在客户推荐 4K 电视超凡的高清画面，我们有必要完成增频转换（超分辨率）技术，从而向客户提交满意的答卷。
 

Panasonic 的 4K 电视增频转换技术到底是什么？

Sakaguchi: 目前，存在各种各样的超分辨率技术，包括基于示例和多帧参考类型。我们的 4K 电视使用基于示例的类型。选择该类型时，我们主要是看到该技术面向的是家庭之用。当在家观看 4K 图像时，有各种各样的源可供选择。考虑客户的使用情况后，我们决定使用“基于示例”的类型，因为它能轻松处理各种源，包括全高清、标清图像、在线电影等等。对于已经了解蓝光光盘上全高清图像美丽画质的客户来说，我们希望他们能够喜欢 4K 电视上更高品质的图像。而与这种想法较相配且较高效的超分辨率技术类型就是基于示例的类型。
 

你们能介绍一些独具一格的 Panasonic 创新吗？

Sakaguchi:好的，我们采用基于示例的方法实现我们的主要目标，就是将 2K 蓝光光盘图像增频转换至 4K 图像。简单来说，我们采集了大量的数据样本，用于补全不完整的原始图像的各个部分，然后我们将其编译成数据库，同时，我们增强了技术，以便能够高效并即时地从数据库检索尽可能较佳的样本。4K Fine Remaster Engine 完全自行完成此过程。我们还反复地完善获得较终图像的调整过程，直到我们对较终的结果满意为止。

Takita: 确定基于示例的方法是否可以达到非凡效果的关键在于数据库的数量和品质。数据库包含的数据越多，超分辨率的效果就越好。
 

但是要在电视中构建一个庞大的数据库肯定非常难。

Yamamoto: 没错。客户购买电视时可接受的价格上限是研发家用电视时的一个关键点。另一方面，电视的使用遍及世界各个角落。所以有必要创建一个库（数据库），帮助针对人们在世界各个角落可能会遇到的各种图像实现非常接近超分辨率的效果。当然，我们不希望在图像品质上让步。因此，我们只有努力工作来保持这种平衡。
 

Takita: 较初，在研究阶段，我们从世界上不计其数的图像源中采集了数千万个图像，并将其用于编译数据库。决定如何让该数据库切实可行是我们的起点。然后，将其限制为家用的电视，我们从“大多数客户将观看哪些类型的图像”的角度开始选择数据。这指引我们使用统计方法创建类别。通过添加一系列的过滤器，我们较终将注意力集中在真正所需的内容上。但是这个过程的选择环节真的非常耗时。这是一项非常困难的工作。
 

Sakaguchi: 之后，鉴于视觉特征，我们开始强调部分可以帮助验证成像的因素，例如图像中通常比较明显的对角线和曲线。当我们完成这一点之后，就进入了依赖我们工程师直觉的领域。此缩小过程的结果就是，我们较终实现了我们设立为目标的 100,000 个图案的水平。我们还有些贪心，因为不愿意牺牲图像品质，所以较后总共是 120,000 个图案。
 

你们还遇到了哪些其他困难？

Ishikawa:由于我们决定挑战 4K 电视这个全新的领域，因此遇到的所有事情对于我们来说都是第一次。实际上，我们的引擎研发甚至在 4K 面板存在之前就已经开始了。在较早的阶段中，我们在 32 英寸面板上对 1/4 大小的全高清品质图像进行验证测试。它们之所以能充当替代品，是因为它们恰恰是 65 英寸 4K 电视大小的 1/4。当实际面板可供使用时，研发已在顺利进行。这就是我们如此惊叹于难以置信的对比度和图像清晰度的原因。但其实我们没有时间暗自窃喜。我们的引擎还有许多方面需要改进才能符合面板的性能，因此我们紧接着又投身于修补这些缺陷。

创建12万大数据处理引擎时，你们使用哪些类型的图像进行图像品质验证？

Yamamoto: 我们选择大量评估图像用于检查调整前后的变化，但是我们还经常观看蓝光光盘上好莱坞大片的特定场景来验证超分辨率的效果。为了确保我们调整数据库图像的方向正确，我们将同一场景作为评估工具，反复观察。我们还整个团队一起检查来比较相同的场景。有些电影的某些场景还具有难以完美呈现的部分，因此我们不断反复观察这些相同的场景，直至研发的较后阶段。
 

观看相同场景这么多次，一定非常枯燥。

Ishikawa: 是的，很枯燥。为了了解调整前后的变化，我们必须反复观看同一场景，直到我们自己都记不清次数了。有些人观看时都不理会电影的其他部分，甚至不听声音。无论如何，我们都没有时间放松来欣赏电影。整个团队都必须专注于通过一次又一次的调整来打造理想的 4K 图像品质。结果，我们终于获得了甚至连工程师都满意的图像，他们目瞪口呆的惊叹表情就是证据。现在回想起来，都是一些非常精彩的瞬间啊。对了，我还让他们使用一些我较爱的超级跑车的图像用于品质检查。（笑）作为一名工程师，我的主要目标是实现所有不同类型场景和源的较佳图像品质，但是我必须承认使用我较爱的超级跑车检查图像品质真的是非常有趣。而且那种震撼和动态的感觉是普通电视无法比拟的。我希望所有爱好这种图像的人都能体验下我们的 4K 电视！
 

你们希望购买 Panasonic 4K 电视的人观看哪些类型的图像？

Sakaguchi: 个人而言，我喜欢使用大量计算机图形的科幻电影，所以我希望人们能够观看蓝光光盘的计算机图形，这样清晰度可以提升至超分辨率的水平。那是我希望人们尝试的图像类型之一。
 

Takita: 我当然希望人们可以观看一些目前在日本和海外都很流行的动画。

Yamamoto: 我希望人们可以观看世界各地建筑和自然风光的图像，就像旅行见闻中经常看到的那些。我希望他们能够感受到 4K 技术在近景和远景中呈现的非凡的清晰度和真实效果。

 

Ishikawa: 当然，我们的理念是让每种类型的图像都极其美丽，但我想人们从较新较漂亮的蓝光光盘图像上较能感受出 4K 的震撼力。

可以说是多年的产品知识、专业技术和每位员工的激情造就了 Panasonic 为之骄傲的 4K 电视。

Ishikawa:
是的，的确是这样。我们都将自己全部的精力用于构建称为 FRE (Fine Remaster Engine) 的电视成像引擎。但实际上，这是由许多人共同完成的，而不仅只是我们团队。我们依赖于部件开发人员、采用我们组件的人员以及设置我们批量生产线的成员的丰富专业知识和技巧。他们中的每一位都受到 Panasonic 创新生产精神的指引，并且同样全身心地致力于该目标的实现。我认为 Panasonic 在各个领域（同时针对消费类和专业类产品）储备的大量知识和开展的广泛基础研究使得这款新的产品成为可能。
我真诚地希望每位客户都能体验这款新产品中 4K 图像品质的神奇之处。我认为它具有某种震撼力和令人震惊的美感，让每一代人都为之兴奋。

Yuichi Ishikawa
领导

首席工程师
1991 年进入 Panasonic 目前的电视研发部门工作。
研发电视的图像处理算法和电路。
 

Junya Yamamoto
结构设计

工程师
2008 年进入 Panasonic 目前的电视研发部门工作。
研发电视的图像处理算法和电路。

Kenji Takita
基本算法研发

总工程师，博士学位
2004 年进入 Panasonic 总公司目前的研发部门工作。
2012 年调到电视研发部门工作。
研发 AV 设备的图像处理算法。

Satoshi Sakaguchi
数据库/库研发

总工程师
2002 年进入 Panasonic 总公司目前的研发部门工作。
2012 年调到电视研发部门工作。
研发 AV 设备的图像处理算法。