在2018年度的国际固态电路会议(ISSCC)上，有几项在图像传感器技术方面的新进展亮相，超越了以前着重在“选美”的图像撷取，添加了更多情境信息；这些新进展包括了事件导向(event-driven)传感器、能解决运动中物体图像扭曲问题的全局快门(global shutters)新方法，以及飞行时间(ToF)图像传感器。
具备动作侦测功能的CMOS图像传感器
索尼(Sony)在ISSCC发表的事件导向低功耗CMOS图像传感器，就是一个为所撷取图像添加情境信息的好例子，该公司的设计工程师团队直接在图像传感器内部布置了运动侦测(motion detection)功能。
在一篇论文中，Sony详细介绍了一款1/4吋、390万像素(3.9Megapixel)的低功耗事件导向背照式堆栈(back-illuminated stacked) CMOS图像传感器，整合了像素读取电路(pixel readout circuit)，能侦测每一个像素的运动物体。根据Sony开发团队的描述，研发这款事件导向图像传感器的幕后动机，是为了满足那些低功耗、永不关机设备也要配备高画质成像技术的需求。
随着诸如家用保全摄影机、虚拟个人助理等无线连网设备崛起，物联网(IoT)系统设计工程师也在寻找能延长电池寿命的小型解决方案，事件导向技术正适合保全系统应用；这类图像传感器内建了智能功能，能实时侦测运动物体。
sony_lowpowerevent-drivenchipSony的事件导向传感器具备像素数组、列驱动器(row drivers)、列译码器(row decoders)、单斜率产生器(single-slope generation)、动作/光侦测功能区块、图像信号处理器、讯框内存SRAM、MIPI链接端口，以及连结至传感器控制区块的CPU （来源：Sony）
如上图所示，当Sony事件导向传感器侦测到运动物体时，CPU会产生一个外部中断讯号，利用芯片上的自动曝光，以零延迟触发对高画质图像的撷取。Sony表示，该图像传感器利用每个像素区块共享之浮动扩散(floating diffusion)中的像素加总(pixel summation)，实现了每秒10讯框的运动物体侦测。
Sony位于美国硅谷的图像传感器设计中心资深嵌入式软件工程师Abhinav Mathur表示，该图像传感器的运作功耗仅1.1mW，而相同的全分辨率、每秒60讯框速率CMOS图像传感器功耗为95mW；在事件纪录的应用中，此传感器能在摄影机系统的低功耗感测模式下显著降低功耗与数据带宽。
sony_blockdiagramofthechipSony事件导向传感器功能区块 （来源：Sony）
ToF传感器技术进展
3D深度摄影机正夯，相关技术的竞争焦点在于更高分辨率、更低功耗以及更小体积；微软(Microsoft)在ISSCC简报了应用于Kinect 2动作感测设备的ToF传感器进展，该传感器采用的是经过改善的连续波(Continuous-Wave，CW)式ToF技术，号称将最新的ToF传感器推向了百万像素等级。
Microsoft_chipmicrographMicrosoft的最新ToF传感器 （来源：Microsoft）
Microsoft的团队认为，在市面上各种3D图像撷取技术中，CW ToF成像系统能提供优异的机械强度、无要求底线，以及高效能深度图像分辨率、低运算成本，还有IR环境光强度不变 (IR ambient light invariant intensity)同步撷取──即主动亮度(active brightness)──等特性，因此该团队致力于改善CW ToF摄影机的空间分辨率、精确度以及运作范围，同时降低其功耗。
此外Microsoft也藉由提升调变对比(modulation contrast)、量子效率以及调变频率来改善CW ToF图像传感器的不确定性与功耗，消除了读取噪声与模拟数字转换，同时以较小像素降低了光学堆栈的高度。
Microsoft_chipperformancecomparisonMicrosoft的ToF传感器规格 （来源：Microsoft）
小型像素(3.5 x 3.5μm)对新一代ToF传感器在智能手机应用的竞争上非常重要，Microsoft号称其方案具备商用全局快门RGB传感器竞争力，以及适用手持式设备的小型光学堆栈；该公司在ISSCC论文中介绍的1024x1024像素ToF全局快门图像传感器，能在200MHz下达到87%的调变对比，采用台积电(TSMC)的65奈米1P8M背照式CMOS技术。
像素内噪声消除
松下(Panasonic)在ISSCC展示其有机光导薄膜(organic photoconductive film，OPF) CMOS图像传感器技术最新进展──将OPF CMOS图像传感器中的光电转换功能与电路分离；藉由这种独特架构，该公司团队将新开发的高速噪声消除技术以及高饱和度技术整合至电路，同时利用传感器的独特敏感度控制功能来改变施加到OPF的电压，因此实现全局快门功能。
ISSCC_comparisonofglobalshutterpixelstructureOPF CMOS图像传感器与传统全局快门传感器的架构比较；Panasonic声称其最新传感器是业界首款提供8K分辨率、60fps讯框速率、450k电子饱和度，并具备全局快门功能 （来源：Panasonic）
在过去，广播电视与保全应用的高分辨率、高保真度摄影机，如8K超高分辨率电视系统与采用堆栈传感器方案的8K摄影机的共同缺陷，是采用滚动快门(rolling-shutter)而非全局快门。在全局模式下，快门运作能同步撷取所有像素的图像；而滚动快门模式的有机CMOS图像传感器，则是以逐行(row by row)方式曝光与运作。
ISSCCrollingshuttervs.globalshutterPanasonic表示，滚动快门会导致失真问题，特别是在高速成像以及多视角图像合成应用时 （来源：Panasonic）
Panasonic新开发的传感器号称能实时撷取不失真的运动物体图像，该公司认为这对多视角与高速、高分辨率摄影机特别有益，例如机器视觉与智能交通监控系统的应用；而因为光电转换与电路能分开设计，利用像素内增益开关(in-pixel gain-switching)技术能达到高饱和度特性，电压控制敏感度调变技术则是藉由改变施加至OPF的电压来调整敏感度。
panasonicmultipleexposurePanasonic新开发的CMOS图像传感器能撷取8K分辨率图像，甚至在高对比度度的场景中，同时具备全局快门功能，可用全像素撷取同步图像 （来源：EE Times）
支持200公尺距离的成像光达
东芝(Toshiba)的工程师团队在ISSCC发表的是长距离、高分辨率光达(LiDAR)系统最新技术，利用来自目标物反射光子(reflected photon)的ToF信息；而因为其目标是距离量测(distance measurement，DM)，该团队将支持距离定在200公尺，也就是一辆行驶于高速公路上的汽车，感测正在接近的其他车辆或物体的最理想距离。
而Toshiba的团队也指出，若要在城市区域实现安全可靠的自动驾驶车辆，光达系统必须要有宽广视角与高分辨率，才能完整感知周遭情况；要实现此目标的一个棘手挑战是，光达系统得时常与强烈的背景光线(例如阳光)对抗，那也是光达系统最主要的噪声来源。
车用光达系统的侦测距离要求以及Toshiba的解决方案规格 （来源：Toshiba）
Toshiba介绍了一种结合时间至数字值转换器(Time-to-Digital Converter，TDC)与模拟数字转换器(ADC)的光达SoC，配备了一种命名为智能累加技术(Smart Accumulation Technique，SAT)的功能，号称能让光达系统达到200公尺的视距以及自动驾驶车辆需要的高分辨率图像。
根据Toshiba的说法，SAT能利用来自ADC的强度与背景光信息，识别并累计仅从目标物反射的数据，因此与传统的累加技术相较，其分辨率能达到四倍。该TDC/ADC组合架构放宽了ADC采样率需求，以支持短距离DM精确度；此外该概念验证支持200公尺距离的光达系统，DM距离是传统设计的两倍，可实现240x96像素分辨率与0.125%的DM精确度。
Toshiba_benchmarkingToshiba光达方案与传统设计的性能比较 （来源：Toshiba）
像素平行接合技术
不只Panasonic，Sony也注意到滚动快门图像传感器撷取运动物体图像失真的问题，指出像素内模拟内存(in-pixel analog memory)与像素平行(pixel-parallel) ADC虽是潜在解决方案，但这些技术都无法支持百万像素分辨率，因为它们都没有解决在一个像素中读写ADC数字讯号的时序限制(timing constraint)问题。
Sony在ISSCC论文中提出的方案，是利用具备每像素单一ADC的堆栈图像传感器，在CMOS传感器实现全局快门 （来源：Sony）
Sony的堆栈式背照CMOS图像传感器，配备146万像素14位ADC，采用像素级接合技术(pixel-level bonding technology)。Sony表示，具备正向回馈电路的次临界值比较器(subthreshold comparator)有助于降低比较器运作电流与电路区域最小化，能降低功耗。
作者：Junko Yoshida
