传感器优化方法 夜视应用示例

1. 简述

夜视技术市场涵盖了广泛的应用，主要目的在于给操作员提供视觉辅助分析。通常要求系统具有良好的便携性以及低功耗。现代的夜视系统已数字化并带有高端图像处理功能，可以实现模糊场景分析。在这样的要求下，图像传感器本身的性能就变得极其重要。理想状况，极度低光照状态下每一个光子都必须转化为有效信号，从而最终图像可以清晰分辨所有细节。本文章对主要用于评估低照度性能的传感器关键参数、建模和度量法作出探讨。

2. 传感器特征

本文工作是基于Teledyne e2v一款用于低照度科研CMOS图像传感器(CIS)，560万像素分辨率(2440x2304)。其像素为6.5微米，支持全局快门跟卷帘快门模式，最大速度为88帧每秒。这一单芯片架构属全数字并为非常低噪声应用作出优化。这一CIS能够在全速卷闸快门下实现亚电子时间噪声，并在全局快门下实现5电子时间噪声。

这一传感器最初是基于标准CMOS工艺设计，然后转移到特定的厚和高阻抗硅物料(HiRes)以实现从可见光到近红外(NIR)更高灵敏度和良好的空间分辨率和更大的量子效率(QE)。像素的微透镜以零缝隙(zero-gap)方法优化，实现最大80%的量子效率。专有的像素彩色马赛克阵列或单色阵列，使得传感器适用于日间和夜视应用。

其它测试器件(DUT)的低亮度性能在表1中做了比较。

3. 低照度相机和传感器设计

3.1. 噪声水平

噪声是由以下各因素构成：

- 读出噪声

- 暗散粒噪声

- 光子散粒噪声

- 量化噪声

- 固定模式噪声(FPN)

- 像素响应非一致性(PRNU)

而最后的两个因素FPN 和 PRNU 在系统校准后不再出现，因而可以忽略。

在低辐照下，读出和暗噪声主导了信噪比(SNR)，而光子散粒噪声则在动态较高的位置有较大影响。要实现非常低光照水平下探测，噪声的大小是关键因素。光子计数成像要求噪声小于0.15 e-，这对于标准CMOS传感器来说是很大的挑战。特别对于一些像素内信号放大电晶管会产生随机电报噪声源(RTS)，导致一些像素出现非典型的高读出噪声，使得它们不适用于低照度感测。对超低噪CMOS传感器设计而言，像素噪声是主导因素。换言之，模数转换器(ADC)和混合信号读出通道对于影像和视觉传感器性能来说是至关重要的。能够降低模拟读出噪声的设计方式之一，是去除取样存放步骤(sample-and-hold)，直接转换输出像素信号。我们之前的工作提出了一个基于两级ADC的新型架构，能够实现接近0.5电子噪声 。它同时展示了像素设计的重要性，以及电晶管工作和ADC分辨率的影响。

量化噪声最一种随机模拟噪声。模数转换器(ADC)将来自CMOS传感器的光电信号转换成数字信号。这便关乎到具体信号估算的不确定性。量化步长或数字量化值的选择必须能够让量化噪声跟其它噪声源相较可以忽略。量化数值以及它的不确定性取决于：1) 模拟信号的满量程范围(FSR)以及2)数字信号的位数(Nb)。算式1给出了量化噪声的算法。

算式1

其中N_b越大，则量化噪声越小。但相应地，也要求更大的存储空间，在传输速率一定的情况下，也会带来帧率的降低。因此，设计时，需兼顾几方面。

3.2. 像素尺寸

像素的尺寸是图像传感器设计考虑的重要指标。小像素能够显著提高空间分辨率。另一方面，在相同光学孔径和视场范围条件下，大像素能够带来更高的灵敏度。鉴于图像质量的概念是这两个参数的结合，像素面积的折衷就成为必需事项。例如大像素有较高的响应并能够改进夜视能力，但它的空间分辨率却不足以辨别远处离物体的细节。约翰逊准则(Johnson's criteria)被广泛应用在距离性能预测。

3.3. 灵敏度改进趋势

本工作设计方法在已有图像传感器设计基础上加入新技术改进光电特性，且不影响其它性能。这一方法已经应用芯片设计且得到了验证，成功实现产品系列扩充。最近在新的工作中，通过负偏置基极并增加芯片厚度(HiRho)，提升量子效率和灵敏度，同时保持出色的空间分辨率。HiRho是短期被看好的改进灵敏度的方法，现在正技术验证阶段。根据传感器特性建模仿真数据，可以预期应用HiRho技术芯片在低照度环境下表现性能优于其他芯片。

4. 低照度性能测量

信噪比和空间分辨率是评估图像质量的两个主要指标。相机制造技术能力也体现在对这两个指标的良好把控。界定它们的参数包括量子效率、噪声源、色彩还原度以及调制传递函数(MTF)。

噪声等效辐照度(Noise Equivalent Irradiance，NEI)，它反映了暗噪声以及光响应的影响，如算式2所示：

算式2

图像传感器的响应度R_ims取决于多个参数，如算式3所示：

算式3

从图像传感器角度， NEI主要取决于两个主要参数，量子效率和噪声。它们决定了生成基本影像所需的最低光照度的阈值。这一理论模型并没有考虑到与光粒子性本质相关的散粒噪声。散粒噪声遵从泊松分布，它的标准偏差为产生的信号的平方根，以电子为单位。因此，需结合考虑NEI和信噪比(SNR)。ISO 12232 标准定义了基于SNR的图像质量条件。标准给出了SNR值与辐照度水平的对应关系指标。指标的值愈小，传感器的性能愈佳。在实际使用中，SNR10公认为可接受的图像，SNR40为完美影像。对于低照度成像而言，一般认为SNR = 10 dB 的图像是可用水平。

获得SNR=X所需场景的辐照度Escene可通过算式4得出。

算式4

其中T_int代表曝光时间，I_dc为暗电流(e-/s)。

空间分辨能力的分析与时域信号噪声分析同等重要。基于约翰逊准则的最小可分辨对比度(Minimum Resolvable Contrast，MRC)是常用的空间分辨能力衡量方法。相较于NEI，它更复杂一些。因为它是基于具代表性的工作条件下的测试结果，且受到观察者主观感受随机性影响。

基于上述方法，比较不同传感器的性能是可能的。

5. 传感器性能对比实验

5.1. TTP 计量

在1950年后期提出的约翰逊准则(Johnson criteria)经常被引用界定夜视系统性能。根据理论，我们可以得到不同辐照水平下传感器的最高空间分辨率fj。最小可分辨对比度(MRC)相当于分辨某个频率所需的对比度阈值。因此我们也能得到给定距离范围内，对于某一对像的侦测、辨识和识别(DRI)的机率计算。现场测试结果常常显示出与准则有差异的结果，特别是数字传感器和显示器。因而衍生出多个其它方法。其中任务性能目标(Targeting Task Performance，TTP) 方法结合了约翰逊方法和取样图像(或视频)与诸如锐利化或对比修正等数字图像处理等因素。另外，为了反映操作者主观因素，TTP模型也加入了视觉的对比限制。这就是本工作中选用的方法。

对比阈值函数(Contrast Threshold Function，CTF) 是考虑人类视觉特征的函数。CTF_syst也采用了同一概念，通过图像来显示传感器在不同光照度水平下的空间分辨率、光学模糊度(MTF)和噪声。CTFsyst的曲线呈浴缸形，人眼对低频变化对比度敏感，但对小图案的空间分辨率则灵敏度受限。

TTP 的计算是在频域，对比目标背景对比度(C_tgt)和CTF_syst。截止频率为C_tgt开始超过CTF_syst的频率，即fj。低频接近于零。算式 5 定义了TTP 的计量。

算式5

对一个给定范围，且已知目标范围ATGT，可分辨周期数Nresolved可通过算式6定义。

算式6

在算式7中，系数E由一个相当于0.5完成任务机率的经验实现参数V₅₀而得出：

算式7

其中V₅₀ = 18.8。

由算式 5 到算式7，我们得到每个范围TTP的准确概率函数(P_id)机率函数：

算式8

我们把TTP 计量设置到Python 环境，以演示出CMOS图像传感器的性能对比。

5.2. 光学工作台设定

TTP方法一般都是基于反射型目标，而在实验室环境不容易实现。我们特别依照测试目的，设计了一个紧凑型光学工作台。这个工作台配备一个用于配接任何相机和卡的机械接口。机箱内置有标准透射型分辨率测试卡(USAF 1951)，带通滤波片或中性滤波片。积分球内配置有校准过的辐照度监测仪。工作平台封闭不透光，可以抵抗外界环境光 (> 100 lx)干扰，并能够保持腔内辐照度小于10 μlx。腔内部使用了特殊涂料,内壁350nm-1100 nm的光谱范围内残留反射率小于5%。所有量度均使用Kowa telephoto高分辨率50 mm焦距c-mount镜头。

图1 – TTP光学工作台

6. 结果与讨论

图2到图4为基于TTP技术在1.5 mlx 辐照度下(night level 4)的对比结果。可以看到像素尺寸，噪声和信噪比带来的影响。这一组图片与USAF 1951在低亮度工作台拍摄的目标图片呈现了一致的结果。

图2 – USAF 1951 1.5 mlx照度下对比

Figure 3 – CTFsys 1.5 mlux照度下对比

图4 – PID 1.5 mlux照度下对比

我们简化了计算模型，C_tgt 的计算剔除了大气吸收，采用了简化的噪声模型。C_tgt 取固定值0.4。由于对比是以P_id曲线为基础，我们简化CTF_syst，假定显示器是完美的，不带有任何对比度增强且其空间频率噪声考虑为白噪声。虽然计算的范围数值相较于现场数据更理想化，但是它已足够用于比较不同传感器的表现。表1 给出了新型器件的参数比较。由于使用了高灵敏度的像素和低噪声读出，本文工作显示了比其他像素尺寸相近产品更好的性能。而像素尺寸越大的芯片，表现出更好的SNR和NEI，在远距离探测保证更好的探测可靠性。本研究器件的性能与其它当前高水平芯片对比，表现出相近的性能水平。

表 1 – 最新型CIS简表

7. 结论与未来工作

本文为前期提出的传感器优化方法论的延伸工作，应用于夜视芯片优化。提出了实验室测量对比夜视芯技术方法，并以此方法对比验证了本工作夜视传感器与现有其他芯片性能进行比较。在1.5 mlx照度下得出的结果与NEI和SNR的计算一致。由于近红外产生电子扩散更明显，所有测试传感器均出现对比度下降和空间分辨率的损失。要实现长距离目标探测识别(DRI)需要新一代的传感器具有更好的光电性能。值得一提的是HiRho工艺开启了新的技术领域。深耗尽区(full deep depletion)工艺将实现更接近理论值的对比度分辨率以及显著改进的QE。例如具有6.5 μm 像素的Teledyne e2v 科学CMOS图像传感器，在夜视等级4 (night level 4)环境下，探测范围增加至1.2倍, 甚至超越了对比测试中表现最好的竞争器件A。

鸣谢：特别感谢G. Valles、R. Lemaitre、H. Bugnet 和 JF. Boissoneau 对本文的贡献。这一研究获法国军用设备总局(Direction Générale de l’Armement，DGA)资助下完成。