超过人眼的CMOS感应器的研发轶事 佳能coms 怎么开发出来 2.5亿像素感应器 18千米元的飞机可以观察清楚

佳能在2010年制造出1.2亿像素的CMOS感应器，引起了人们的关注。此后研发组接到的下一个任务是要研发性能翻倍的具有2.5亿像素的感应器。像素要更细微，周边电路要更高速。这样的难关研发组是怎样攻克的呢？

——像素高达2.5亿，距18千米远的飞机机身上写的字也能识别。这个CMOS感应器是在什么时间点开始研发的呢？

领木达也
佳能早在2010年就已制造出1.2亿像素的CMOS感应器。1.2亿像素相当于人的视觉细胞数。而接下来的富有挑战性的项目就是在此基础上还要实现性能翻倍，以展现更大的优势。就这样，我们开始了2.5亿像素的影像感应器的研发工作。

高田健司
像素数只增加到1.3亿、1.4亿这种水平的话，很快就能被别的公司追上来，所以要搞就搞个翻倍的出来，目标朝着世界第一去（笑）。

领木
不仅是增加像素数，为了实现美丽的图像，我们还下功夫提高了每个像素自身的性能。费了很大的劲儿，但是我认为达到了当初设定的目标性能。

对拍摄的影像（左侧照片）进行电子变焦，然后再运用图像处理技术。人眼难以识别的约18千米远正在飞行的飞机上的文字可以识别（右侧照片）
（使用样机拍摄的照片。样机上用的是EF800mm远摄镜头与电子变焦。）

——2.5亿像素这个目标是不是相当的有难度啊？

领木
感应器芯片的大小是受限制的，必须在有限的尺寸里容纳下所有的要素。为了实现这一目标，需要3个部门的紧密合作，这3个部门是：对CMOS感应器上的像素构造进行研发的部件设计部门；对制造工艺进行研发的过程研发部门；以及生产工厂。

鸟居庆大
当时过程方面有两大课题：一个课题是要在与之前同样面积的芯片上放进两倍的像素，为此要更加细微化；另一个课题是变小了的像素怎么能吸收进光。

木户滋
CMOS感应器的像素单元由很多半导体元件构成，所以需要对像素单元进行均匀地制造。也就是说，要让导入的光均匀地照射在所有像素上。所以与存储卡等其它半导体相比，CMOS感应器在制造中同时要求细微化和均匀化的程度更高。因此在工厂制造阶段想提高其成品率变得更难。

鸟居
例如，之前的话，有1微米的尘埃混入则不合格，而这次由于更加细微化，有0.1微米的尘埃混入就会成为不合格品。

——像素是2.5亿时，处理的数据量也翻倍是吧。

领木
毎秒拍5张的话，也就是1秒钟要处理来自12亿5,000万像素的信号，所以周边电路需要高速工作。CMOS感应器的制作过程由形成电子回路的过程和形成像素的过程这两部分组成，在让这两部分匹配上我们花了很大力气。

——什么地方需要花力气了呢？

搭载了2.5亿像素CMOS感应器（右侧照片）的样品相机（左侧照片）
（装载EF35mm F1.4L USM镜头时）

领木
对于电子回路的话，应该采用与以往相比能以更低电压进行高速运转的周边电子回路的制作过程。可是这样的条件在像素的制作过程中如果采用，有可能对像素的特性带来不良影响。在研发初期，我们曾试着采用过新的高速回路制作过程制作芯片，结果像素的特性完全出不来。即使拍摄黑色画面也会发生无数的白色光痕。

我们把芯片实际切开观察了截断面，发现如果在像素制作过程中使用周边电子回路制作过程中使用的温度，那么对于像素制作过程而言这个温度是不够的。

大贯裕介
基于这样的结果，我们担任像素工作的组进行了模拟测试，找到了一个大致基准，即在什么样的条件下能使周边电子回路制作过程和像素制作过程都能成功，然后向电子回路设计组和制作工艺组进行了提案。

鸟居
设计、制造工艺、工厂这三者密切合作，各担任人员能碰头见面，我认为这是大有好处的。

2017年元旦报纸上的佳能广告里，刊登了色彩鲜艳的平等院凤凰堂的照片。其实这张平等院凤凰堂的照片是在午夜时分拍摄的。午夜里也能拍出像白昼一样的照片，为了实现这样超高感光度的感应器，研发者们下了怎样的功夫呢？

——元旦报纸上的平等院凤凰堂的照片初看好像就是经常会见到的风景照片，没想到竟然是在夜里拍摄的。这个感应器的性能让我感到吃惊。

佳能首个超高感光度多用途相机“ME20F-SH”

赤堀博男
佳能在2013年研发了一款专用于拍摄视频的35mm全画幅超高感光度CMOS感应器。该感应器可在只有一炷香亮度的黑暗室内（照度0.05x0.01lux）实现视频的拍摄。

此后，在2015年佳能又研发出更成熟的可在0.0005lux以下拍摄彩色视频的感应器，并发售了搭载该感应器的佳能首个超高感光度多用途相机“ME20F-SH”。广告里的平等院凤凰堂照片正是使用这款相机拍摄的。

——与市场上销售的数码单反相机相比，它的感光度确实有很大的优势呀。

午夜中的平等院凤凰堂的照片

赤堀
与佳能数码单反相机的较高端机型“EOS-1D X Mark Ⅱ”相比，像素尺寸达到了7.5倍以上。在ISO感光度方面，一般来说3200左右是拍摄的上限，但是超高感光度CMOS感应器达到了400万。

以往我们一般的作业方式是：由事业部先定规格，然后由研发部按照事业部的要求进行感应器的研发。但是今后我们（研发部门）想自己主动考虑技术上的路线图，积极向事业部提出新的影像感应器提案。这个超高感光度感应器就是为此而走的第一步。

所以如果只是“ISO感光度提高到1.XX倍”的话，在技术上没有什么震撼力。所以为了能有震撼力，而且能与我们拥有的技术相吻合，还能与市场需求相吻合，我们在研发中的口号是“实现超过数码单反较高端机的ISO感光度！”。

——为了提高感光度，你们下了什么样的功夫呢？

单个像素内的构造

赤堀
CMOS感应器的像素内的构造是这样的：感应器各像素内的微透镜把到达该像素的光进行较大限度的获取，并送至能检测光的光电二极管。

为了能达到高感光度，需要让每个像素尺寸变大，这样就可以增加对光的吸收量。刚才也说过了，我们把像素的尺寸扩大到了以往单反相机的约7.5倍以上。但是这样一来，不仅出现读取信息费时间这个感光面积大就必然会有的难题，而且大尺寸微透镜的设计，以及在批量生产方面等等，都碰到了难题，进行了一番苦斗。

设计了光电二极管内的多级台阶势能构造

例如，在读取信息方面，我们下了不少功夫。所谓的读取信息，具体说来就是通过光电二极管把光转变成电子，然后经由晶体管，诱导至读取的电子回路。我们利用了（佳能）在研发观测天体用的巨大CMOS感应器时积累的技术，为了能让电子便于流动，我们想到了把像素内做成多级台阶的势能构造。但是台阶数、形状、角度等等，坡道的构造可以有几万种。于是我们通过庞大量的模拟测试进行了优化，终于使大尺寸像素也能高效地读取信息。
 

木户

与其它感应器相比，超高感光度感应器发出的电平较高，因此即使受到丁点儿尘埃或金属的污染，也会带来很大的影响。所以（对超高感光度感应器）进行批量生产的工厂，需要彻底控制这些污染。

所以搞新的尝试总之就是要经过设计、工艺、制造三方的反复试验反复失败。我们相关的研发人员真的是一起合作进行了反复的试验。

一般的CMOS感应器在拍摄高速移动的电车等时，由于受其感光原理的限制，拍摄出的被摄体有时会发生扭曲。如果是搭载了全域快门功能的CMOS感应器，就能防止这种现象。但是全域快门的研发可并不是一帆风顺的。研发者们靠什么样的思路转换解决了宽动态范围与全域快门的矛盾？

——你们研发出了搭载“全域快门功能”的CMOS感应器，那么这个“全域快门功能”究竟是什么呢？

大贯
数码相机和摄像机等机器在记录影像时，根据照射在CMOS感应器像素上的光的强弱，电子会相应地积蓄，而读取此电子，就可以得到图像数据。

一般的CMOS感应器采用的是卷帘快门，以“行”为单位进行像素的曝光和电子的读取。因此，较初曝光的行和较后曝光的行之间会产生时间差。其结果是当拍摄正在行驶的电车或是正在旋转的螺旋桨时，被摄体有时会发生扭曲，还有当在拍摄过程中使用闪光灯的话，有时会发生图像的上部和下部亮度不同的现象（flashband现象）。

——哦，我也曾看到过扭曲的电车的影像，原来原因是出于此啊。

大贯
如果是全域快门的话，由于所有的像素是在同一时间点曝光，所以扭曲或是上下亮度不同的现象（flashband现象）就不会发生了。

卷帘快门和全域快门的比较

——那么这个是怎么实现的呢？

大贯
你可以把CMOS感应器的每个像素看作是水桶一样的东西。卷帘快门方式的CMOS感应器的话，它的每个像素只有一个用来接受光的光电二极管这样一个水桶，需要从这个水桶依次读取电子。

而全域快门方式的CMOS感应器的话，除了有接受光的光电二极管这个水桶外，还有第二个水桶，就是临时存储光电二极管电子的存储器。把所有光电二极管水桶的电子在同一时间点输送到存储器水桶，这样就实现了全域快门。

但是在这个方法上我们遇到了很大的问题。

——是什么问题？

大贯
在单个像素里要有两个水桶（二极管水桶和存储器水桶），那么每个水桶自然就要小了。

比如如果是10L的水桶的话，可以表现从“没有水”到“水满10L”的状态，而如果是5L的水桶，那么与10L的水桶相比，能表现的状态就会少了。

影像感应器的一个重要性能指标是叫做动态范围的东西。它指的是信号的较小值与较大值的比率，你把它想成就是水桶的大小可能比较容易理解。越是大的水桶，也就是动态范围大的话，亮度和颜色的表现力也就越大。

所以全域快门和动态范围是一对互不两立的矛盾，需要想办法解决。为了解决这个难题，我们开发了新的驱动方式。

在此之前，我们考虑的是全域快门方式的光电二极管水桶和存储器水桶做成一样大，而后来考虑新的驱动方式时，在光电二极管水桶和存储器水桶的大小上，以及在（电子的）输送方法上下了功夫。

——这个想法是怎么产生的？

大贯
从各种工种中选出一些人员，由选出的人员一起研究讨论怎样既能实现全域快门又能实现宽动态范围的问题。大家的工种不同，讨论时也有讨论不到一起去的时候，但也正是由于各自的领域不同，彼此都尊重对方的发言，不会轻易否定，所以才有了各种不同的看问题的角度，在此基础上形成方案，方案出来后又马上尝试。我们就是这样反复进行了各种尝试。这其中的一个尝试，就是新驱动方式。

这一技术不是凭空产生的，而是大家一起千辛万苦思考解决方法，较终才诞生出来的。

影像感应器的需求量急剧增加，这些需求主要来自工业机械、汽车等新领域。如何才能够迅速研发出这些领域所需求的感应器，并投入市场呢？面对与一般消费者完全不同的市场，研发者们已经开始了新的挑战。

——此前佳能自己研发的影像感应器都是用于自己公司生产的数码相机等中，但是听说今后要把影像感应器对外销售是吧。

高田
佳能在2015年1月设立了销售推进项目，要在今后尝试影像感应器的对外销售。超多像素、超高感光度的感应器，它主要是为了宣传佳能的技术，其对象是一些相对比较小众的市场。

而另一方面，全域快门是今后成为工业用相机主流的拳头产品。

——请具体说明一下好吗？

高田
现在不仅是日本的制造业，包括美国等国家的制造业都有一个动向在扩大，就是把曾经去国外建的工厂又重新搬回国内。但是为了能在这些人工费用高的发达国家进行制造，实现自动化以降低成本是必需的。因此，对自动进行产品检查的相机等的工业用相机的需求今后应该是有很大增长的。

除了工业用相机领域以外，在汽车领域的需求应该也会增加。在负责制订汽车国际标准的联合国世界车辆法规协调论坛上，从2017年6月开始，相机与监视器组合来替代后视镜使用已经在国际上被认可，另外，也正在讨论是否要强制要求在汽车上安装紧急情况时的自动刹车装置。在这些用途方面，影像感应器起着重要的作用。

——面向一般消费者的商品企划与面向工业用途的商品企划也不一样吧？

高田
面向一般消费者的相机，是人来使用的。可是工业用、汽车用的相机是嵌入到机器里被使用的。工业机器要保证在365天每天24小时运转也不能坏，而汽车则需要在炎炎烈日下或是零度以下的严酷环境也能正常工作。

佳能制造的影像感应器的画质我想是毋庸置疑的，但是今后除了画质外，在耐久性、耐环境性能方面展现出自己优势应该也会变得重要起来。

大贯
迄今为止影像感应器都是为了用来记录人眼所捕捉到的影像。但是今后将逐渐用于超过人眼的用途。例如用来观察可视光以外的范围，例如在极其黑暗或极其明亮的地方拍摄，再例如捕捉超高速运动物体的影像等。在这些“感知”用途上应该可以大显身手。

——也就是说影像感应器的作用会发生很大变化是吧。那么为了研发这样的新产品，研发者们应该怎样做呢？另外，想和什么样的人一起工作呢？

高田
要以世界范围的市场为目标，有成为“世界第一”的雄心。这可能是很重要的吧。

木户
刚才话题也说到，面向一般消费者与面向工业这二者，在对影像感应器规格上的要求是不一样的。所以需要顺应变化，要有勇于投入到新领域的积极向上的精神。

赤堀
产品研发是整个团队来进行的工作，所以要相互关注彼此的状况，在此基础上推进才能够顺利。我想和这样的人一起工作，就是不仅对自己的专业领域，对周围其他领域的技术也能够正确理解，而且有沟通能力的人。

鸟居
我担任的是制造工艺技术。但是我在进入佳能之前，对半导体可以说是一无所知。我们半导体组里，半导体专业出身的人有没有10%都不好说。今后的半导体行业，除了生物以外的所有领域，例如物理、化学、电气等，都会和它有关系。所以希望有各种不同视野的人加入进来。

大贯
我在大学学的是机械专业，进入佳能时对半导体也是完全不懂。CMOS感应器现在也不仅是用在数码相机上了，所以有不同的技术背景是会有好处的。刚才鸟居说“除了生物以外”，可是CMOS感应器在医疗方面的应用现在也在发展，今后也许生物方面的知识也会派上用场。我们想要这样的毕业生来加入，就是不管自己在学校学的是什么专业，总之进入佳能是因为有想要干的事。

领木
10年来我一直从事CMOS感应器的研发，在工作中我认识到：意想不到的问题肯定会发生。可是单靠一个人能解决的问题真的是很少。只有靠周围人的帮助，才能够解决。让周围的人加入进来，自己也帮助周围的人。为此要学习各种知识。我确实感到这种彼此合作彼此照顾（Give and take）的精神很重要。

在采访中也谈到CMOS感应器的用途不仅停留在数码相机，而是正在扩展到各种领域。人们用相机记录影像留住记忆的行为，在CMOS感应器的用途里已经只占一小部分了。当电子设备认知现实世界并作用于现实世界时，几乎可以说在其中一定是要有影像感应器存在的。

现在数码相机的市场确实是在缩小，但是远大于此的巨大市场已经诞生。围绕这个市场，全世界正在展开激烈的竞争。

在急速扩大的市场中，怎样才能抓住多样化的用户需求？

在佳能，设计、工艺、制造等各部门在进行着紧密的合作。这对于掌握用户需求并迅速进行产品化来说是有很大好处的。今后究竟会诞生出怎样的感应器？让我们拭目以待吧。

采访与撰稿
山路 达也（Yamaji Tatsuya）
生于1970年。曾担任杂志社编辑工作，后独立成为自由撰稿人/编辑人。目前活跃在IT、科学、环境领域，从事采访和写作活动。
著书有《Apple、Google成为神的日子》（与他人合著）、《新超传导入门》、《Google的72小时》（与他人合著）、《弹言》（与他人合著）等。

此次“访谈”的研发人员