今天小编分享的科技经验：影像传感器辉煌60年，走向何方？，欢迎阅读。
60年固态影像传感器发展及前沿技术回顾。
本文回顾了近 60 年的固态影像传感器发展历程，并指出了该领網域潜在的新前沿。从 20 世纪 60 年代的早期工作，到电荷耦合器件影像传感器的发展，再到如今我们生活中无处不在的互补金属氧化物半导体影像传感器，我们讨论了进化链中的亮点。简要讨论了 3D 堆叠技术、光子计数技术等新前沿。
引言
捕捉影像是人类自史前时代就开始的一项活动，而照相机捕捉影像成为人类文化的一部分已有近 200 年的历史。影像传感器是微电子硅芯片，是每台数码相机的核心部件，它将光转换成适合计算机传输、存储和处理的电信号，供机器和人类使用。影像传感器对人类文化的影响始于二十一世纪，甚至可能更早。数码相机最早采用电荷耦合器件（CCD）影像传感器，目前则采用互补金属氧化物半导体（CMOS）影像传感器（CIS）。
这些摄像头被广泛应用于移动智能手机、汽车、网络摄像头、医疗设备、安全系统、国防技术和太空等众多领網域。以影像为基础的社交媒体，如 Facebook、Instagram、YouTube 和 TikTok，对社会的影响无论好坏都难以低估。然而，一个无可争议的积极影响是，每个人口袋里的相机都有助于实现社会正义。
本文旨在简要概述该领網域的主要发展并说明其来龙去脉。若要全面介绍该领網域的情况，需要撰写几卷书，因此我们的目的是提供一份关键突破性出版品和综述论文的骨架指南。本指南和参考文献并不完善，许多有趣的侧面发展也遗憾地在本综述中被忽略。
二十世纪历史发展的里程碑
一、阴极射线管攝影機影像拾取技术
使用阴极射线管（CRT）技术进行电子摄像影像拾取的概念可追溯到 20 世纪初电视时代的黎明前。在拾取式显像管中，聚焦的电子束在光电阴极表面进行光栅扫描，光电阴极表面也被聚焦的光学影像照亮。光和扫描光束从光电阴极释放出的电子产生电流，表明光电阴极该部分的瞬时光强度。人们很快意识到，如果能在整个光栅扫描周期内存储或整合光电阴极电荷，并将其作为光电导增益来实现，那么就能产生更多的探测器信号，摄像管的灵敏度也会大大提高。
直到 20 世纪 80 年代末甚至 90 年代初，在固态影像传感器的性能优势在高质量视频应用中得到充分体现之前的几十年里，许多不同类型、性能得到改进的摄像管相继问世。
攝影機影像拾取管在实际应用中的许多想法后来都在固态成像设备中得到了重新构想或创新。其中包括光栅扫描读出；像素内整合光信号以提高信噪比（SNR）；彩色滤光片以实现色彩再现；甚至还有影像拾取管直径尺寸的命名法，尽管这种命名法在影像传感器芯片尺寸中并不准确，但仍被保留了下来。
二、20 世纪 60 年代固态影像传感器--开端
20 世纪 60 年代，集成半导体器件真正崭露头角，半导体的光敏性在当时已广为人知。一些早期器件包括霍尼韦尔公司的光敏结器件（Morrison 1963）、IBM 公司的 n-p-n 光电敏感结扫描晶体管阵列（Horton et al. 1964）和西屋公司的 50 × 50 元光电晶体管阵列（Schuster & Strull 1966）。这些设备的输出信号与瞬时光输入信号成正比，没有刻意积分，因此信号很弱，需要像素内部的增益进行放大。从本质上讲，这就是最早的有源像素传感器。
仙童半导体公司的韦克勒（Weckler，1967 年）利用 p-n 结光电探测器的固有电容，实现了对像素中的瞬时光感应信号进行积分的飞跃。可见光光子以一定的量子效率产生光电子，这些光电子被收集起来并作为电荷集成到结电容上。仙童半导体公司在一年后报告了 100 × 100 阵列的此类硅光电探测器（Dyck & Weckler，1968 年）。电容上积累的电荷通过开关电路网络被动读出，当每个像素被选中时，输出端会产生电流或电压脉冲。这种结构被称为无源像素传感器。
大约在同一时期，Plessey 公司的 Noble（1968 年）和 Chamberlain（1969 年）也在探索类似的设备和自扫描硅影像探测器阵列。他们的读出电路比仙童的工作更为复杂，采用电荷积分放大器将电荷转换为读出电压，或在每个像素中安装有源随动器，将电荷转换为栅极电压，并驱动每个像素的电压输出信号，作为有源像素传感器。
与成像管相比，固态影像传感器具有体积小、重量轻、可靠性高和相机系统功耗低等优点。然而，到 1970 年，固态影像传感器由于固定模式噪声（FPN）（由像素本身和像素读出电路引起的变化）和较低的信噪比（由读出的时间噪声和反应较慢的光电探测器引起），影像质量不如显像管，而且这些设备在视频或静态相机领網域的市场渗透率不高。
1969 年，Smith和Boyle在贝尔实验室发明了 CCD。CCD 影像传感器相对来说不存在 FPN 问题，当与相关双采样 (CDS：correlated double sampling) 结合使用时，读出噪声更低（White 等人，1973 年）。除了日立、松下和 Reticon 在 MOS 影像传感器方面的一些努力之外，其他金属氧化物半导体 (MOS) 和双极方法大多被放弃。遗憾的是，由于残留的 FPN 和时间噪声，以及较大像素设备较低的分辨率和较高的制造成本，这些努力未能生产出在性能上可与 CCD 竞争的影像传感器。
三、电荷耦合器件主导固态影像传感器（20 世纪 70 年代至 80 年代）
下面将讨论 CCD 在 20 世纪 70 年代和 80 年代作为固态影像传感器的发展和崛起。
1.电荷耦合器件。
CCD 是一种半导体电荷转移器件，通过在 MOS 栅电极上产生一系列脉冲来控制半导体中的静电电势分布，从而在半导体中传输电荷包（图 1）。就在 CCD 于 1970 年被提出（Boyle 和 Smith，1970 年）之前，有报道称bucket-brigade 装置 (BBD) 也是一种电荷转移装置（Sangster 和 Teer，1969 年；Sangster，1970 年）。然而，与 BBD 相比，CCD 原则上具有更高的电荷转移效率，这对于电荷转移设备的良好性能至关重要。CCD 电荷包可以通过电子或光学方式产生。在前一种情况下，CCD 充当信号处理的延迟线，而在后一种情况下，CCD 可用作影像传感器。CCD 影像传感器既可用作光电探测器阵列，也可用作读出设备（通过顺序信号传输）。然而，这样的全帧 CCD 需要一个机械快门来阻止载流子在读出过程中产生光学信号，以避免影像的涂抹。因此，全帧 CCD 可用于数字静态照相机和 X 射线（猝发）应用，但不便于视频应用。
图 1 ：四相电荷耦合器件图、电位井图和时钟图。当四个时钟依次切换时，电位井与电荷包一起向右移动。
2、帧转移电荷耦合器件影像传感器。
为了避免这种污点并制造出实用的攝影機，汤姆塞特及其同事（Tompsett et al. 1971, Séquin et al. 1973）发明了帧转移（FT）CCD 影像传感器。它由一个影像区和一个遮光（如用金属覆盖）存储区组成。FT CCD 结构相对简单，因为只有 MOS 电容，但由于存储区的存在，它需要较大的芯片尺寸。MOS 电容器的多晶硅栅极会在一定程度上吸收光线，因此灵敏度有限，尤其是对蓝光的灵敏度（Kosonocky & Carnes 1971）。与不久后发明的性能更高、成本更低的线间转移 (ILT) CCD 影像传感器相比，FT CCD 的产量较小。
3、线间转移电荷耦合器件影像传感器。
ILT CCD 是作为双线性 CCD 影像传感器的发展而发明的。如图 2 所示，ILT CCD 像素的光电二极管 (PD) 位于相邻的并行移位寄存器之间（Amelio，1973 年；Walsh & Dyck，1973 年）。这种设计使得 CCD 移位寄存器可以用遮光材料覆盖。在曝光期间，信号电子积聚在 PD 的电位井中。曝光期结束后，信号电子被传输到平行垂直 CCD（VCCD）移位寄存器，并通过快速水平 CCD 移位寄存器传输到输出放大器。PD 用于信号电子的产生和积分，而 CCD 移位寄存器仅用于信号电子的传输，并被遮光板（如金属）覆盖。因此，在 FT CCD 中出现的影像涂抹现象大大减少（Teranishi 和 Ishihara，1987 年）。由于所有 PD 的电荷都是同时转移的，因此它就像一个全局快门，这意味着所有像素信号都是同时整合的。为了提高性能，可以在每个像素上安装微透镜和彩色滤光片；下文将对这些机制进行说明。
图 2 ：三相线间传输电荷耦合器件（ILT）的示意图，显示（左）带有光电二极管（PD）和垂直 CCD 的单元，（右）整个 ILT CCD 影像传感器。光信号从光电二极管进入垂直 CCD，然后进入水平 CCD，最后到达感应节点和输出放大器。
在输出端，电子信号通过浮动扩散放大器转换为电压信号（卡恩斯，1972 年）。此外，为了抑制浮动扩散的复位噪声，还使用了 CDS。
CCD 最初会出现 "绽放 "（ blooming）现象，即电子从 PD 向 VCCD 和邻近 PD 的强照明溢出。为了解决这一问题，有人提出了横向溢流漏极，但这会消耗额外的像素面积（Séquin，1972 年）。为了克服这一缺点，人们发明了垂直溢流漏极（Ishihara 等人，1982 年）。
4、引脚光电二极管。
针脚式光电二极管（PPD）技术（Teranishi 等人，1982 年；Fossum & Hondongwa，2014 年；Teranishi，2016 年）将 CCD 影像传感器的性能提升到了足以使 CCD 成功超越传统拾光管的地步。PPD 有两个显著特点。首先是 PD n 区網域上的 p+ 引脚层，如图 3a 所示。虽然在硅界面上有许多生成-重组（GR）中心，但 p+ 层会固定费米级，即使在 PD n 区完全耗尽时，也能防止界面耗尽。因此，GR 中心并不活跃，从而实现了低暗电流（Theuwissen，2006 年）。此外，由于 PD n 区存储井上下都有 p-n 结，因此其电容更大，饱和度也更高。
图 3 ：线间转移 CCD 中的引脚式 PD，图中显示了 CCD 移位寄存器 (VCCD) 的一个相位。(a) 物理横截面和 (b) 显示电子从 PD 转移到 VCCD 的电位图。缩写：CCD，电荷耦合器件；CS，通道截止；PD，光电二极管；TG，转移门；VCCD，垂直 CCD。
PPD 的第二个特点是完全电荷转移（图 3b）。当 PD n 区完全耗尽时，PD n 区的电位 V dep 低于导通状态下转移栅极 (TG) 的沟道电位 V TG。电位差 V TG - V Dep 是电子从 PD 转移到 VCCD 的驱动力。电子转移的最后阶段尤其需要电位差。如果没有电位差，一些信号电子可能会留在 PD 中，从而导致影像滞后。
PPD 技术不仅用于 ILT CCD 影像传感器，也用于 CMOS 影像传感器，详见第 3 节。目前，几乎所有影像传感器都使用 PPD。
5、延时积分影像传感器
延时积分（TDI：time delay and integration）影像传感器以光学影像在影像传感器表面扫描的相同速度，同步传输在 CCD 阶段积分的光信号，从而延长有效积分时间，避免运动模糊（Barbe，1976 年；Farrier & Dyck，1980 年；Schlig，1986 年）。TDI 对许多检测系统、高性能檔案和艺术品扫描以及航空推帚成像（push-broom imaging）都很重要。
6、彩色滤光片和微透镜
影像传感器上的镶嵌式彩色滤光片阵列可产生彩色信号。CCD 影像传感器和 CMOS 影像传感器最常用的滤光片类型是拜尔滤光片（Bayer 1976），它是一个由两个绿色、一个红色和一个蓝色像素滤光片组成的内核。随后又开发出了片上彩色滤光片阵列（Aoki 等人，1980 年）。人们还探索了许多其他组合，以权衡某些特性和其他特性
为了增加有效孔径比和提高灵敏度，人们利用树脂热流（Ishihara 和 Tanigaki，1983 年）使树脂熔化并变圆，制造出了图 4 所示的片上微透镜。这种方法还可以实现批量生产。为了提高有效孔径比，开发了一种无间隙微透镜--内微透镜（Sano et al. 1996）。附加的内透镜就位于硅片上方的附近，可以获得更大的数值孔径，从而更有效地收集光线。
图 4 微透镜将光线集中在像素的光活性区網域。(a) 俯视图。(b) 不同热流时间的截面图。图片由 NEC 公司提供。
7、大面积影像传感器的拼接技术。
大面积和/或长面积影像传感器有时需要用于特定应用，如 35 毫米全尺寸数码单镜反光照相机、天文望远镜、X 射线传感器和线性影像传感器。CCD 影像传感器和 CMOS 影像传感器是使用光刻用步进机和掃描器制造的。步进器和掃描器的曝光面积约为 33 毫米 × 26 毫米。缝合技术的发明是为了实现比光刻工具最大曝光尺寸更大的芯片尺寸。拼接技术是指使用掩膜的不同部分对大型芯片进行连续曝光，每次曝光一个区網域，以建立超过单次曝光面积的影像层（Rominger，1988 年；Monma & Yuzurihara，1993 年；Kreider 等，1995 年；Monma & Yuzurihara，1998 年）。
当连续重复曝光时，就会形成完整的影像传感器。即使是非常大的全晶圆尺寸影像传感器（CCD 和 CMOS）也是用这种方法制造的（例如，Lesser 等人，1997 年；Ay & Fossum，2006 年；Zacharias 等人，2007 年；Yamashita 等人，2011 年）（见图 5）。
图 5 ：直径 6 英寸晶圆上的 16 像素缝合互补金属氧化物半导体影像传感器。转载自 Ay & Fossum (2006)。
四、电荷耦合器件的一些问题（约 1990 年）
CCD 以其出色的影像质量而著称，部分原因是其漏电流（或暗电流）非常低。尽管如此，CCD 仍然存在一些问题，下文将对其中几个问题进行简要讨论。
1、电荷转移效率。
CCD 的基本工作原理是基于电荷包的传输（Boyle 和 Smith，1970 年）。这些电荷包在像素中产生，需要传输到输出节点，并在那里将电荷包（ charge packet）转换为电压（或电流）。例如，在一个 6-Mpixel CCD 影像传感器中，在最坏的情况下，电荷包必须经过大约 17,000 次门到门的传输。遗憾的是，这些传输并不总是完美的。有两个主要问题会限制传输效率：传输时间有限以及电荷被表面态或体态捕获。如果 17,000 次转移需要 98% 以上的整体电荷转移效率 (CTE)，那么每次电荷转移的效率就需要达到 99.9999%（0.99999917,000 ≅0.983），即平均每次转移 100 万个电子中损失 1 个电子。随着阵列尺寸增大（传输次数增多）或以更高帧频运行（每次传输的时间减少），保持高总体 CTE 的需求变得更具挑战性，这导致 CCD 难以扩展（Theuwissen，1995 年）。
通过在 CCD 通道中引入额外的植入物，形成埋入式通道 CCD (BCD)，对 CCD 的 CTE 进行了优化（Walden 等人，1972 年）。在 BCCD 中，电荷包不再沿着硅-二氧化硅界面传输，而是在硅中稍深的通道中传输。这种改变导致电荷包与界面状态之间（几乎）没有相互作用，同时产生了更大的边缘场，从而提高了电荷包的传输速度。在空间环境中，辐射会随着时间的推移增加表面态和体态或陷阱，冷却 CCD 以减少暗电流会加剧对 CTE 的影响。
2、读出率。
保持较高的 CTE 会限制电荷包从一个阶段传输到下一个阶段的速度，而提高栅极上的时钟电压以加快电荷传输速度也会因硅击穿而受到实际限制。在高清电视消费设备中，CCD 时钟速率达到了 30-60 MHz，但通往更大格式或更快帧速率的道路尚不明确，特别是考虑到功耗。此外，提高输出放大器的速度还会因晶体管白噪声而增加读出噪声。降低输出级带宽要求的一种方法是使用较慢的并行输出（Lee 等人，1981 年），但由于输出级与输出级之间的偏移和增益变化，这会带来固定模式噪声问题。在实际应用中，高速时钟只能通过低电阻栅极和与这些栅极的低电阻互连来实现。配备钨带的 CCD 栅极可以实现这些目标，但代价是复杂而昂贵的制造工艺（Morimoto 等人，1992 年）。
3、电源
原则上，CCD 是数百万个 MOS 电容器的集合体。这些 MOS 电容器是在 SiO2（-Si3N4）栅极电介质上通过多晶硅栅极制成的。在前面 3K × 2K 像素阵列的例子中，像素间距为 12μm，垂直传输相的电容值为 2 nF/相，而水平传输相的电容值为 150 pF/相（Theuwissen 等人，1998 年）。这些电容需要充电和放电（例如，垂直时钟在 0 V 至 10 V 之间，水平时钟在 0 V 至 5 V 之间），这就增加了总的能源成本。每帧所需的传输相位能量为[使用公式能量（E）=电容（C）×电压（V2）]。
所需的时钟功率为每帧能量 × 帧频。提高帧频会相应增加消耗和耗散功率。值得注意的是，大量能量需要通过外部（CCD 外）驱动器提供。如果考虑到沉淀时间问题，片外电流驱动器所需的功率会更大。当像素数增加和/或相同尺寸像素的帧频增加时，问题会更加严重。
4.生产良率。
良品率是指合格器件的数量与制造的器件总数之比，可严重影响制造成本和盈利能力。半导体制造工厂花费了大量精力来最大限度地提高产量。制造工艺和设计要经过许多制造部件的调整，以优化成品率。与其他电子产品相比，CCD 的制造采用了非同寻常的工艺，而且产量相对较低。这两个因素都会对成品率产生负面影响。此外，制造设备的成本需要根据制造部件的数量进行摊销。产量降低也会增加摊销成本。
导致成品率不尽如人意的一个原因是确保高 CTE 所需的结构。为了使电荷包能够顺利有效地传输，MOS 电容器需要紧密间隔，两个相邻电容器之间的间隙需要尽可能小，最好小于 0.25 μm。栅极之间较大的间隙会引入势垒，阻碍电荷转移。在 CCD 首次成为影像传感器时，无法在 0.5 微米厚的多晶硅层上蚀刻出 0.25 微米的间隙。因此，我们使用了多层聚硅氧烷层，以实现重叠的 MOS 电容器。这导致电容器与电容器之间的间隙与多晶硅栅极顶部隔离层的厚度相同，通常为 0.2 μm。大多数 CCD 采用三层多晶硅技术。蚀刻第一层多晶硅层相对容易，在四阶段传输系统中，第一阶段和第三阶段可由第一层多晶硅层制成。第二阶段使用第二层多晶硅，第四阶段使用第三层多晶硅。这样，第二层和第三层多晶硅层只生产一个阶段。这对生产产量非常有利。蚀刻重叠的多晶硅层并不容易，而且会产生短路。这会对制造良率产生负面影响，进而影响设备的成本。
其他问题也会降低影像质量，如像素缺陷、柱缺陷、固定图案噪声、暗电流和光响应不均匀性。所有这些因素都可能导致器件不稳定。目前，其中一些问题可以得到纠正并从输出影像中隐藏起来，但考虑到上述所有问题，CCD 的制造良品率不高也就不足为奇了，因此 CCD 是一种相对昂贵的设备。
5.集成
CCD 制造技术的优化主要是为了制造高质量的影像传感器。CCD 工艺开发的重点是降低暗电流、优化产量和成像性能。CCD 制造配方并不适合集成其他电子元件。飞利浦曾尝试在 CCD 芯片上实现 CMOS 外围电路（Theuwissen 等人，1984 年）。然而，一面是 CCD 设计规则，另一面却是 CMOS 设计规则。CMOS 部分占据了太多的空间，这使得 CCD 芯片变得不必要地庞大，而且（由于 CCD 部分的产量有限）过于昂贵。不过，飞利浦公司的试验可以看作是首次尝试制造无需外部外围驱动电路的独立相机（Theuwissen 等人，1985 年）。CCD 技术可以被看作是一种为成像而开发和优化的特殊专用技术，巧合的是，该技术还可以用于成像仪读出部分所需的一些 MOS 晶体管。CIS 的发明在一定程度上是为了解决如何利用主流微电子技术制造优质影像传感器的问题。
五、互补金属氧化物半导体影像传感器（20 世纪 90 年代）
下面讨论 20 世纪 90 年代互补金属氧化物半导体影像传感器的发明和发展。
1、简史
到 1990 年，CCD 已成为几乎所有相机应用的首选技术。几乎所有的 CCD 设计和生产都在日本进行，索尼、松下（松下）、东芝、夏普和 NEC 等公司主导着 CCD 技术。非日本公司很少，包括飞利浦、汤姆逊 CSF、柯达和德州仪器。此外，还有一些产量极低的专业公司，如福特航空航天公司、泰克公司、英国电气阀门公司以及国防和航空航天领網域的其他公司。基于 CCD 的攝影機体积相对较大，耗电量也很大。例如，CCD 攝影機非常笨重，砖块大小的电池只能使用 30 分钟左右。天载科学相机只有一个小冰箱大小，质量很大，使用大量的航天器电力资源。
20 世纪 90 年代初，两项不同的努力促使使用 CMOS 技术平台的非电荷耦合器件影像传感器再次兴起。事实上，这两项工作在当时可能互不相识。第一项工作涉及创建功能强大的单芯片成像系统，主要关注点是低成本。这项工作起源于两所不同的大学。在苏格兰爱丁堡大学，由 Denyer 和 Renshaw 领导的研究小组最终成立了 VLSI Vision 有限公司（VVL）。(VVL) 公司，该公司基于无源像素架构，为玩具（如芭比娃娃摄像头和英特尔显微镜）和其他应用生产价格低廉、性能较低的单芯片摄像头。另一个公司是瑞典林雪平大学，该公司衍生出集成视觉产品公司（IVP），主要专注于机器视觉应用。IVP 也采用了无源像素架构，但也使用了首款列并行模数转换器 (ADC)。VVL 和 IVP 的无源像素方法与 25 年前 Weckler 和 Noble 提出的无源像素方法十分相似，但在技术方面有了更多的创新和改进，例如 CMOS 的发展，在 20 世纪 80 年代取代了 n 沟道金属氧化物半导体 (nMOS) 技术（Fossum，1997 年）。
2、像素内电荷转移。
第二项工作源于美国国家航空航天局对高度微型化、低功耗、高性能仪器成像系统的需求，用于下一代星际探索，由美国加州理工学院喷气推进实验室（JPL）领导（Fossum，2013a）。这项工作的成果是发明了具有像素内电荷转移功能的 CMOS 有源像素影像传感器，其性能与 VVL 和 IVP 的侧重点截然相反。
第一个 JPL 设备于 1993 年进行了演示（Mendis 等人，1994 年），并很快集成到一个更大的阵列中（Mendis 等人，1997 年）。JPL 与柯达公司合作开发了一种低电压 PPD（Lee 等人，1995 年）。该发明以 CCD 的像素元件为基础，这些元件使 CCD 运行良好，其中包括消除滞后和传输噪声的完全电荷转移、高量子效率的 PPD、浮动扩散放大器以及 CDS 的启用。此外，它还增加了额外的电路来抑制固定图案噪声，并提供其他降噪功能。从本质上讲，像素是一种单级微型 CCD，每个像素包括一个输出放大器。
与成千上万级的 CCD 相比，单级 CCD 阵列（每个 CCD 都有自己的输出放大器）无需 99.9999% CTE 的 CCD 结构。因此，它可以在工作电压较低的 CMOS 技术平台上实现，并且更容易扩展到更高分辨率的成像和更快的读出速度。如今，几乎所有的 CIS 设备都采用了像素内电荷转移技术。
像素内电荷转移意味着 CDS 可以用来抑制复位（也称为 kTC）噪声，就像在 CCD 中一样。CMOS 技术平台的使用意味着用于定时、控制、模拟信号处理 (ASP)、ADC 和数字信号处理 (DSP) 的 CMOS 电路的集成相对容易实现和制造（Fossum，1993 年，1997 年）。最初的照相机芯片都是正面发光 (FSI)。这种方法的主要缺点是每个像素内的额外元件意味着实际感光面积比 CCD 小。
不过，与 ILT CCD 一样，微透镜有助于提高有效像素填充系数。背面照明也被认为是解决感光面积小问题的一种方法，但在当时，这种方法只用于小批量、高成本的科学 CCD（Fossum，1994 年）。当像素缩小要求像素具有高填充系数以聚集更多光线时，背照式（BSI）CMOS 影像传感器最终开始大规模生产（Rhodes 等人，2009 年）。
图 6a 是通用单片式 CIS 的简化框图。主要模块包括：(a) 时序和控制，包括选择逻辑；(b) 像素阵列；(c) ASP；以及 (d) 模数转换。未显示的是 (e)数字信号处理器，包括影像信号处理 (ISP) 模块，如果作为片上系统，该模块将位于模数转换器数字输出之后。图 6b 显示了 JPL 分拆公司 Photobit 生产的早期网络摄像头影像传感器。最新的三维堆叠 BSI CMOS 影像传感器可能在一个晶圆层上有像素，在另一个晶圆层上有 ASP、ADC 或数字逻辑，每个晶圆层都是用专门的工艺制造的（Oike 2022）。这种包括两层以上的堆叠将实现 CMOS 影像传感器的新功能并提高其性能。
图 6 ：(a) 互补金属氧化物半导体 (CMOS) 影像传感器框图。(b) 用于网络摄像头的早期 Photobit CMOS 影像传感器芯片照片。(左图）用于控制和输入输出（I/O）功能的数字逻辑。(右上）像素阵列。(右下）列并行模拟信号处理和模数转换器 (ADC) 电路。照片由 E.R.F. 提供。
3、像素阵列。
多年来，人们探索了许多不同类型的 CIS 像素，但最常用的是像素内电荷转移的有源像素，它使用 PPD 作为光探测元件（Lee 等人，1995 年；Guidash 等人，1997 年；Inoue 等人，1999 年；Yonemoto 等人，2000 年；Fossum & Hondongwa，2014 年）。由于在一般情况下需要四个晶体管，这种像素通常被称为 4-T 像素。在相邻像素之间共享一些晶体管及其功能，可以将每个像素的晶体管平均数量减少到 4 个以下，尽管基本思想保持不变（McGrath 等人，2005 年）。
图 7a 是 4-T 像素的示意图。光子撞击 PPD，产生电子-空穴对。电子被收集到 PPD 的 n 区網域，如图 7b 所示。读出时，选择 (SEL) 晶体管被选中，复位 (RST) 栅极被脉冲重置 n+ 浮扩散 (FD) 检测节点。然后，源极跟随器 (SF) 检测 FD 上的电压，并将其作为复位电压驱动到 ASP 的列总线上。然后对 TG 进行脉冲，使 PPD 中的所有电子转移到 FD，并使其电压降低，降低的幅度与电子数成正比，称为转换增益 (CG)，部門为伏特/电子，基本上是感测节点总电容的倒数。FD 上的新电压由 SF 检测，并作为信号电压驱动到列总线上。利用 CDS，复位电压和信号电压之间会产生一个电压差，该电压差与 PPD 集成的光电子数成正比，FD 复位噪声、SF 的一些 1/f 噪声和 SF 的阈值电压变化都会被抑制。图 7c 显示了大部分像素的横截面示意图。
图 7 ：具有像素内电荷转移功能的 PPD 4-T 有源像素示意图。(a) 电路原理图（Fossum 和 Hondongwa，2014 年）。(b) 垂直穿过 PPD 的带状图，显示光子、电子-空穴对和 SW。(c) 显示掺杂水平的物理横截面图（Fossum 2023）。缩写：COL BUS，列总线；FD，浮动扩散；PPD，引脚光电二极管；RST，复位栅极；SEL，选择栅极；SF，源极跟随器；SW，存储阱；TG，传输栅极。
在 FSI 像素中，像素上方的光学元件有助于提高光收集能力并减少串扰（Teranishi 等人，2012 年）。在 BSI 像素中，传感器硅晶圆安装在硅载体晶圆上，传感器晶圆背面经过减薄和抛光处理，厚度小于 10 微米，并进行钝化和光学特性处理，将像素系数提高到近 100%，以提高量子效率和弱光检测能力。像素结构的其他部分与上述结构类似，不同之处在于光线从极高填充因子的背面进入，而不是从影像传感器芯片的正面进入（Wuu 等人，2022 年）。
像素的动态范围由两个因素决定：像素的读出噪声和像素的最大（线性）电荷存储容量或读出容量。以均方根（r.m.s.）值测量的输入参考读出噪声通常为 2-5 e- r.m.s.，该噪声通常由像素中的可叠加 SF 晶体管噪声所主导。较高的 CG 值有助于克服 SF 晶体管的叠加噪声，降低输入参考读取噪声，从而提高微光成像性能（如 Venezia 等人，2018 年）。深亚电子读取噪声（或噪声小于 0.5 e- r.m.s.）有望在几年内出现在商用器件中，并已在研发中得到证实。
电荷存储容量取决于 PPD 的物理设计，包括掺杂浓度、工作电压以及 PPD 的面积和周长。读出能力也取决于工作电压和感应节点的电容。通常情况下，电荷存储容量和读出容量是匹配的。在通常用于摄影应用的双 CG 像素中，可以在像素中切换一个明确的额外电容，以增加高于设计的感应节点电容的读出容量。因此，我们可以选择（通常为整个像素阵列）CG，以适应弱光条件或较亮的照明条件，并保持良好的信噪比。通过组合不同的积分时间，也可以实现较高的动态范围（Yadid-Pecht 和 Fossum，1997 年）。
4、模拟信号处理。
ASP 通常执行 CDS 和可编程增益，以提高信噪比。由于电路面积极为有限，在列并联配置中实现 ASP 极具挑战性。因此，ASP 基底面的高度增长过快，以弥补宽度过窄的限制。相邻列之间的一些电路元件共享被用来缓解这些限制。ASP 设计的首要原则是不增加像素的输入参考读取噪声。可编程增益放大器可将信号提升到开关电容电路后续级所引入的噪声之上，从而帮助实现这一目标。最近，ASP 的某些部分已在 ADC 之后的数字網域中执行（如 CDS 和相关多重采样）。
5、模数转换器
图 6 展示了一种列并行 ADC 架构，与高速全局串行 ADC 相比，该架构的功耗要求更低，因为 n 个 ADC 中每个 ADC 的带宽都减少了 n 倍，而且考虑到沉淀时间，功耗随 n 倍呈超线性降低（Jansson 等人，1993 年；Zhou 等人，1997 年）。片上 ADC 有许多架构方法，包括全局；列并行（Kawahito 2018）；像素并行（Yang 等人，1999 年；Kleinfelder 等人，2001 年；Sakakibara 等人，2018 年）；以及针对三维堆叠结构的簇并行（Masoodian 等人，2017 年）方法。此外，ADC 的类型可以是算法型的，如 sigma-delta、逐次逼近和循环 ADC，也可以是非算法型的，如单斜率和闪存 ADC；所有这些类型都有各自的权衡（Pain 和 Fossum，1994 年）。
如今，CIS 中的片上 ADC 已相当普遍，但当 JPL 引入现代 CIS 时，源自 CCD 时代的传统观点认为片上 ADC 是不可取的，因为会产生额外的功率耗散和发热，而且可能会将 ADC 的噪声引入模拟像素读出中。事实上，考虑到在高频率下从芯片驱动高保真模拟信号所需的功率，在芯片上进行模数转换可能具有功率优势。然而，更重要的是，片上模数转换器为影像的片上 DSP 以及其他数字降噪技术和影像质量改进打开了大门。与 CCD 相比，由于晶体管工作频率降低，ASP 和 ADC 的并行性还能降低读出噪声。大多数传感器继续使用列并行 ADC，单斜率 ADC 因其芯片面积效率高和转换伪影最少而受到青睐，尽管它们需要最高带宽的比较器。对于堆叠结构，像素并行和群组并行 ADC 越来越受欢迎。改进片上 ADC 仍是一个活跃的研究领網域。
6、数字信号处理/影像信号处理。
附加的 DSP/ISP 用于执行许多片上功能，包括色彩信号处理（如插值、白平衡），以及根据应用情况执行影像压缩和信号格式化等功能，以满足通信标准。其他功能还包括识别人脸或微笑，或确保影像数据的安全。自 CIS 发明以来，为影像捕捉和 ISP 对成像系统进行分区有时会产生双芯片（或更多芯片）解决方案。由于 ISP 在很大程度上取决于应用，而且视觉科学界对 ISP 有很好的了解，因此本综述不包括有关 ISP 的其他信息。不过，将数字信息从影像传感器芯片传输到附加处理器，往往是未来成像功能扩展的最严重瓶颈之一，尤其是在高分辨率和高帧频条件下。使用三维堆叠影像传感器技术和三维互联技术，将数据从影像传感器芯片并行传输到信号处理芯片，可以在一定程度上缓解这一问题。
二十一世纪的进步
本世纪初，CMOS 影像传感器因其功耗、尺寸和成本优势，非常适合新兴的大型照相手机和智能手机市场，这推动了 CIS 技术的应用和发展，直至今日。智能手机是 CIS 的杀手级应用，这意味着低功耗和小巧的外形使其成为这种大批量应用的唯一选择。CIS 的智能手机应用在推动 CIS 发展的同时，也为 CCD 的发展带来了风口。例如，2015 年，索尼宣布停止 CCD 生产。CCD 继续用于越来越少的利基应用，在整个影像传感器市场份额中只占很小一部分。
如今，每年大约生产 50-70 亿个 CMOS 影像传感器；其中大部分用于智能手机，其余用于汽车、安防、网络摄像头、医疗和其他应用。2021 年，美国国家航空航天局（NASA）的 "毅力 "号探测器登陆火星，探测器上搭载了约 20 台 CMOS 攝影機，实现了 NASA JPL 早期开发 CMOS 技术的承诺（Fossum 2023）。
一、制造技术的进步
从现代 CMOS 影像传感器问世到今天，制造技术的进步进一步提高了 CIS 的性能。
1、大规模生产背照式影像传感器。
自从移动电话和智能手机安装了摄像头之后，对小型、高分辨率摄像头的需求变得越来越高，因此有必要进一步缩小像素尺寸，在给定镜头 F 数的情况下减少像素的集光。为了在不牺牲 PD 面积比的情况下缩小像素尺寸，科学界采用了背面照明技术（Iwabuchi 等人，2006 年；Rhodes 等人，2009 年；Wuu 等人，2009 年）。目前，许多 CMOS 影像传感器都采用 BSI 方案。图 8 展示了 FSI 和 BSI 像素截面图。背面照明的优点是填充因子大，从硅到微透镜的堆叠高度小，而且可以自由选择金属层数和金属布局。因此，像素的灵敏度大大提高。
图 8 ：(a) 正面发光像素和 (b) 背面发光（BSI）像素的示例，显示 BSI 像素具有更好的聚光能力。
BSI 影像传感器的制作过程如下：(1) 正面处理，包括布线；(2) 通过直接键合将晶圆与支撑晶圆键合；(3) 薄化传感器晶圆；(4) 背面处理以抑制暗电流；(5) 抗反射涂层；(6) 彩色滤光片应用；(7) 微型透镜应用；以及 (8) 键合垫开孔。在第二步中，将传感器晶圆和支撑晶圆压平并清洗；用等离子体活化表面；最后将两个晶圆接触并退火。第三步，在减薄过程的最后阶段，为获得精确和均匀的厚度，采用化学机械抛光。
2、深沟隔离。
目前可能的最小像素尺寸约为 0.5 μm，而具有良好可见光吸收能力的最小实用硅厚度约为 4 μm。因此，像素尺寸与硅厚度的纵横比高达 8，这就造成了光学串扰和电子扩散串扰。为了减少串扰，人们引入了深沟隔离（DTI）技术（Park 等人，2007 年）。电介质、多晶硅和钨都可以埋入 DTI 中。电子扩散串扰被 DTI 阻断。填充金属的 DTI 能完全抑制光学串扰，而含有电介质和多晶硅的 DTI 则能在一定程度上减少串扰。
DTI 采用博世工艺进行高光谱沟槽蚀刻（Roozeboom 等人，2015 年）。为了抑制来自 DTI 接口的暗电流，采用了三种方法。第一种是通过等离子体掺硼在 DTI 表面形成 p+ 层（Moon 等人，2007 年）。在这种情况下，许多材料都可用作填充物。第二种方法是埋入带负电的介电材料，从而将空穴吸引到界面上。第三种方法是在表面形成一层薄薄的介电层，作为栅介质，并沉积多晶硅或钨作为栅极。在多晶硅或金属上施加负偏压以积聚空穴（Kitamura 等人，2012 年；Ahn 等人，2014 年）。
3、三维堆叠技术。
三维堆叠技术可将包括影像处理在内的功能集成到 CMOS 影像传感器中，从而实现小型、高性能的智能相机。逻辑电路晶圆是一种铜-铜混合晶圆，粘合在影像传感器晶圆上（Sukegawa 等人，2013 年；Oike，2022 年）（图 9）。两个晶圆通过 SiO2-SiO2 和 Cu-Cu 进行物理粘合，并在外围区網域和/或像素区網域进行电气连接（Kagawa 等人，2016 年）。逻辑晶圆采用适当的精细工艺技术，以实现各种功能的高速运行和低功耗耗散。利用硅通孔实现晶圆之间的电气连接，开发出了由影像传感器晶圆、动态随机存取存储器（DRAM）晶圆和逻辑晶圆组成的三层堆栈（Haruta 等人，2017 年）。DRAM 以较大的带宽连接到逻辑晶圆中的影像处理器。
图 9 ：(a) 背面发光器件和 (b) 三维堆叠影像传感器（下层用于附加电路）的横截面对比示意图。
二、特定应用领網域的进步
现代固态影像传感器的潜在应用似乎无穷无尽。时至今日，几乎每天都有新的应用出现。虽然移动成像在很大程度上推动了 CIS 业务技术的发展，但有几种特定应用需要采用与移动成像传感器不同的专用设计、布局或制造技术。本节将讨论其中几种应用。
1、汽车高动态范围。
从商业角度看，汽车行业是 CIS 系统最有前途的新兴市场之一。虽然某些性能参数与汽车应用无关，但高动态范围是一个关键要求。消费类设备在没有特殊考虑的情况下，动态范围可达 80-90 dB，但汽车成像要求动态范围至少达到 120 dB。技术文献中报道了几种提高 CIS 动态范围的技术，但其中一些技术会产生运动伪影，而自动驾驶汽车需要避免这种伪影。
汽车领網域的另一个重要问题是要求成像部件对汽车和交通标志光源中的 LED 闪烁不敏感。要减缓 LED 闪烁，需要采用复杂的方法（Takayanagi 和 Kuroda，2012 年）。
意法半导体（ST Microelectronics）发布了一款可应对 LED 闪烁的影像传感器（Tournier 等人，2018 年），该传感器可产生无运动伪影的宽动态范围输出信号。该器件使用两个具有斩波曝光的 PD。第一个 PD 使用多次长时间曝光，光产生的电荷累积在第一个存储电容器上。第二个光电转换器利用多次较短的曝光时间，将光生电荷累积到第二个存储电容器上。多次长曝光时间和多次短曝光时间交错进行，因此最终结果是两者的组合。这种组合的特点是动态范围宽，没有运动伪影，也没有 LED 闪烁问题。
2、医用和胶囊内窥镜。
内窥镜的一个典型要求是外形小巧，因为摄像头需要穿过人体的微小开口。通过将电子电路扩展集成到一块硅片上，并尽量减少芯片外部的引线数量，就能实现小尺寸影像传感器。在这类应用中，需要不超过四个 I/O 引脚的器件。这些设备在 CCD 时代就有了，但用于驱动和读出 CCD 的完整外围电路并没有集成在芯片上，而是位于人体外部并通过导线连接。
在胶囊内窥镜检查的极端情况下，药丸相机被病人吞下并通过完整的胃肠道（Iddan 和 Swain，2003 年）。这就意味着，胶囊内不仅要有带 ISP 的传感器，还要有镜头、光源、电池和射频传输电子元件（每 8 秒向外界传输一帧影像）。此外，整个系统还必须能够使用自带的小型电池工作多个小时。Photobit 公司开发并生产了一种定制的超低功耗 CIS。这是使用与其他 CMOS 电子元件集成在一起的 CMOS 影像传感器实现微型化的一个极端而重要的例子。
3、高速度。
片上集成与堆叠技术相结合，非常适合高速应用，因为可以并行处理和处理信号。例如，将全局 ADC 转换为列级 ADC 可以提高影像传感器的最大帧频，因为列级转换的并行性减少了串行全局 ADC 的耗时转换。需要注意的是，一个 ADC 也可以服务于多个列（Chen 等人，1990 年）。从列级 ADC 转换为像素级 ADC 可以进一步提高设备的最大帧频（Kleinfelder 等人，2001 年）。就速度而言，ADC 的转换时间可能是一个限制因素，除此之外，另一个非常重要的时间限制因素是将所有生成的比特都置于片外。同时输出多个像素的数字代码需要并行处理。这将增加设备封装上的引脚数量，并相应增加封装成本。在某些情况下，封装成本可能高于裸芯片的成本。
通过以上讨论，我们可以得出这样的结论：像素级 ADC 是高速影像传感器的首选。然而，在每个像素中都安装 ADC 会大大降低像素的填充系数。这个问题可以通过改用堆叠式解决方案来解决；顶层包含影像传感部分，底层包含 ADC（Takahashi 等人，2018 年）。采用专门的三维堆叠结构，影像传感器的性能已超过 100-Mfps（连拍模式）（Kuroda 等人，2019 年）。
4、科学成像
科学成像领網域极为广泛，包括许多细分市场，如太空应用、天文成像、高能粒子探测以及扫描和透射电子束显微镜应用（SEM 和 TEM）的电子探测。在所有这些应用中起重要作用的一个共同参数是对低噪声性能的严格要求。噪声不仅决定了影像传感器的信噪比和动态范围，还决定了为获得可接受的输出结果所需的最小输入信号。
降噪研究从第一台 CCD 制造出来的那一刻起就开始了，至今仍是 CIS 界的热门话题。除了在生产过程中引入新的步骤（如优化氧化过程、暗电流降低步骤），像素的设计和布局（如 PPD、垂直 TG、钝化层）以及模拟电路（如电荷網域 CDS、相关多重采样）也受到了广泛关注（Chen 等人，2012 年；Ge & Theuwissen，2017 年）。一旦读取噪声水平达到 0.3 e- r.m.s.，甚至低至 0.15 e- r.m.s.，就能以良好或极高的精度确定电子数（Teranishi，2012 年；Fossum，2013 年 b）。在 CMOS 影像传感器的早期，40 e- r.m.s. 的噪声水平并不少见。如今，室温操作下的平均读取噪声值已低于 0.20 e- r.m.s.（Ma 等人，2021a, 2022a），从而实现了超低照度成像应用。
5、动态视觉传感器。
在机器视觉视频应用中，在部門时间内会捕获大量影像。在许多情况下，这些影像包含的大量信息在不同影像之间不会发生变化。然而，无论影像内容如何，传感器生成的每一帧影像都需要读出。在动态视觉传感器（DVS）中，帧与帧之间冗余信息的存在被用来加快设备运行速度和/或减少输出数据量。DVS 的概念相对简单：设备的输出只显示两幅连续影像之间的变化（Dickinson 等人，1995 年；Delbrück 等人，2010 年）。每个像素都会捕捉曝光时间内的信息，并将结果与上一次曝光时间内获得的输出进行比较。如果两个连续曝光时间之间没有变化，则像素不会发送任何信息。如果连续两幅影像之间存在差异（超过特定阈值），像素就会开始工作，并报告其位置、发现差异的时间，以及两幅影像之间的差异是正（信号增加）还是负（信号减少）。换句话说，像素检测的是帧与帧之间对比度的变化。大多数情况下，使用的是对数响应的像素。
DVS 的输出不是一张好看的影像，而是一个数字信息流，显示在哪个位置和哪个时间点观察到光强的负或正变化。最近的趋势是将 DVS 与标准 RGB CMOS 传感器相结合；DVS 设备的输出可用于纠正 RGB 数据中的运动伪影（Guo 等人，2023 年；Kodama 等人，2023 年）。
6、间接飞行时间测距影像传感器。
间接飞行时间（iToF）影像传感器用于通过二维成像系统测量三维尺寸（或距离）。光源发出近红外光脉冲（如占空比为 50%），传感器试图检测光脉冲在物体上反射后返回的光信号。攝影機与物体之间的距离可以通过简单的计算得出。计算方法基于光源开启阶段传感器检测到的光量测量值与光源关闭阶段传感器检测到的光量测量值之间的比率（Kim 等人，2010 年）。相机与物体之间的距离越短，在光源开启阶段收集到的信号就越多。攝影機与物体之间的距离越长，在关断阶段收集到的信号就越多。由于光速非常快，因此像素在 "开 "和 "关 "阶段之间的切换也需要很快。像素的曝光时间为纳秒级。由于在如此短的曝光时间内收集到的信号非常小，因此像素中会累积多个测量值，并存储在像素内的电容器中（Kawahito，2021 年）。
iToF 像素的工作模式要求高速收集光生电子，并超快地将电荷包从 PPD 传输到存储节点。要在数百兆赫兹的调制频率下运行这些像素，额外的漂移场（通过巧妙的设计和布局产生）是绝对必要的（Xu 等人，2016 年）。
三、量子影像传感器
2005 年，有人提出了一种不同的影像传感器方法，即由大量以高帧频运行的专用微小像素（称为 jots）对单光子进行检测和计数（Fossum，2005 年）。1 检测基本上是二进制的：0 表示没有光子，1 表示有光子。多帧二进制数据可用来再现灰度影像，如图 10 所示。单光子灵敏度意味着可以在最暗的光线下成像。这一概念最初被称为数字薄膜传感器，后来更名为量子影像传感器（QIS），并扩展到多比特操作（Fossum 等人，2016 年）。
图 10 ：量子影像传感器概念图，显示了点阵输出的空间分布（左图）、不同时间片的点阵输出位平面展开图（中图）以及由点阵时空邻網域形成的灰度影像像素（右图）。图改编自 Ma 等人（2022a）。
1、利用单光子雪崩探测器实现量子影像传感器。
单光子雪崩探测器（SPAD）装置由于利用高电场和撞击电离获得载流子，因此对单光子非常敏感。利用 SPAD 阵列，研究小组已开始展示 QIS 概念并证明成像特征模型（Dutton 等人，2015 年）。2021 年，首次报道了像素间距为 6.4μm 的 3.2-Mpixel SPAD 阵列（Morimoto 等人，2021 年）。由于 SPAD 依靠雪崩倍增获得信号增益，因此需要较高的内部电场和相对较大的像素间距来确保隔离，而且通常还可能具有较高的暗计数率（暗电流）。尽管存在这些问题，但 SPAD 已被证明对 3D 成像等快速光子到达定时应用非常有用。SPAD 技术还利用了 CMOS 影像传感器的技术，如三维堆叠（Ito 等，2020 年）和低暗电流结构。
2、互补金属氧化物半导体量子影像传感器。
实现 CMOS QIS 的工作始于 2012 年的达特茅斯大学。当时，由于 SPAD 像素非常大、需要高电压和高暗电流率，因此 SPAD 方法被否决。这种方法不使用雪崩增益来检测单个光电子，而是通过使用很小的感应节点电容来获得增益，从而产生 300-500 μV/e- 范围内的 CG。通过像素内电荷转移，转移到该电容上的单个电子可产生远高于输入参考本底噪声（例如 0.2 e- r.m.s. 本底噪声）的可辨信号，因此单个光电子的检测误差率较低。检测过程比 SPAD 慢，但可以实现亚微秒级定时。由于 CMOS QIS 不需要 SPAD 的高电场，因此可以实现更小的像素或点阵，并提高了可制造性，从而降低了部門像素的成本和光学器件的体积。功率耗散也大大降低。图 11 展示了泵栅点器件。图 12 展示了室温光电子数分辨率的实验验证。
图 11 ：具有超低感测节点电容的泵栅 jot 器件。(a) BSI 像素的横截面。(b) 沿像素内电荷转移路径的静电势。面板改编自 Ma & Fossum (2015)。缩写：BSI，背面发光；FD，浮动扩散；PB，p 型体硅；PW，p 型阱；SW，存储阱；TG，转移栅；VB，虚拟势垒。
图 12 ：测量到的光子计数直方图（出现次数与归一化读出电压的关系），显示出明显的光电子量化。峰高对应于平均光电子到达率 H 为 2.1 e-/样品的泊松分布，峰宽则与残余读出噪声有关。图改编自 Ma 等人（2017）。
2017 年，达特茅斯大学报告了一款室温下的 1-Mpixel QIS 器件，该器件采用近乎标准的 BSI CIS 3D 叠层工艺实现，像素间距为 1.1μm，工作频率为 1,000 fps，总功耗约为 20 mW（Ma 等人，2017 年）。1-Mpixel QIS 的展示比第一个 1-Mpixel SPAD 阵列早两年多，像素也小得多。大约 34 个 1.1μm 像素的 CMOS QIS 可容纳一个 6.4μm 像素的 SPAD。最近，采用 QIS 光子计数技术的 CMOS 影像传感器实现了高动态范围和 163-M 像素分辨率（Ma 等，2021b；2022b）。目前正在探索 QIS 技术的应用，包括用于安全、国防、科学和其他应用的低照度成像。CIS QIS 技术和 SPAD QIS 技术都占据了重要的应用领網域（Ma 等人，2022a），并激发了低照度影像和视频捕捉领網域的计算成像研究（如 ICCP 2023）。
四、固态影像传感器的新领網域
在本节中，我们将讨论一些引起影像传感器界兴趣的新兴技术。
三维堆叠技术提高了传感器的集成度，实现了高密度焦平面影像处理，提高了吞吐量，同时降低了系统功耗（Fossum，1989 年）。能以大规模并行方式进行的计算可能会从三维堆叠中获益最多，而考虑到连接性，本地影像处理可能比全局影像处理获益更多。目前正在利用三维堆叠技术探索具有边缘计算功能的智能相机（Eki 等，2021 年）。
光子计数影像传感器在过去五年中发展迅速，并实现了新的应用。这项技术很可能在不久的将来成为主流 CIS 技术的一部分，从而实现更大的动态范围和弱光成像的终极性能，特别是与计算成像相结合时（Ma 等，2022b）。
超大尺寸视频影像传感器仍在为专业市场而开发。例如，在拉斯维加斯的 Sphere 沉浸式影院中就使用了一个 316-Mpixel 120-fps 的传感器（Agarwal 等，2023 年）。
最近，硅读出集成电路上的薄膜晶体管影像传感器与量子点光电探测器相结合，提高了成像性能。这些传感器在短波和近红外波段的响应速度也比硅探测器更好（Kim 等人，2023 年）。
影像认证是一个日益受到关注的领網域，尤其是当社会进入一个利用人工智能技术轻松生成逼真但虚假影像的时代。人们正在探索更安全的方法来确保原始影像数据的完整性（Mansoorian & Fossum 2002，Fowler 等人，2023 年）。
在光学方面，随着所谓的完美色彩路由器（Catrysse 等，2022 年）的开发，从拜耳红、绿、蓝、绿（RGBG）色彩滤镜内核到接收每个像素点的 R、G、B 信号（从而避免色彩混叠问题，这是影像传感器界长期以来的梦想）的可能性似乎正在接近现实。金属透镜及其片上集成的相关发展可能会简化相机设计，并减小相机的尺寸和重量（Khorasaninejad 和 Capasso，2017 年）。
结论
固态影像传感器不断发展，在我们的日常生活中无处不在。不仅个人可以与家人和朋友一起欣赏照片和视频，而且每个人都可以在社交媒体上看到它们。这影响了市场、文化、教育甚至政治。在机器视觉、无人机、條碼阅读器、生物识别和手势识别等领網域，计算机而非人类看到影像的市场也在不断增长。有些应用需要检测 X 射线、红外线和带电粒子。此外，测距、偏振和相位（波前）成像能力的不断提高也带来了新的应用。
就像众所周知的双刃剑一样，影像传感器技术的发展也带来了新的社会问题，而不仅仅是显而易见的社交媒体问题。这些问题包括：利用摄像头为犯罪活动提供便利（如偷窥、非法录像、身份盗窃）；侵犯隐私权，包括专制政府机构的自动面部识别和跟踪；以及剥削未成年人和分享非法色情图片。对于一项旨在以光明和真理造福个人福祉和整个社会的技术而言，我们还必须估计和控制剑的黑暗边缘，这确实令人遗憾。
原文链接
https://www.annualreviews.org/content/journals/10.1146/annurev-vision-101322-105538
本文来自微信公众号"半导体行业观察"（ID：icbank），作者：Fossum等，36氪经授权发布。
