飞行时间系统设计：系统概述

这是我们飞行时间 (ToF) 系列的第一篇文章，将概述连续波 (CW) CMOS ToF 相机系统技术及其相对于机器视觉应用的传统 3D 成像解决方案的优势。后续文章将深入探讨本文介绍的一些系统级组件，包括照明子系统、光学器件、电源管理和深度处理。

介绍

现在，许多机器视觉应用都需要高分辨率 3D 深度图像来替代或增强标准 2D 成像。这些解决方案依靠 3D 摄像头提供可靠的深度信息来保证安全，尤其是当机器在靠近人类的地方操作时。摄像头还需要在具有挑战性的环境中工作时提供可靠的深度信息，例如在具有高反射表面的大空间中以及在存在其他移动物体的情况下。

迄今为止，许多产品都使用低分辨率测距仪类型的解决方案来提供深度信息以增强 2D 成像。但是，这种方法有很多局限性。对于受益于更高分辨率 3D 深度信息的应用，CW CMOS ToF 相机提供了市场上性能最高的解决方案。表 1 更详细地描述了高分辨率 CW ToF 传感器技术实现的一些系统功能。这些系统功能还可以转化为消费者用例，例如视频散景、面部身份验证和测量应用，以及汽车用例，例如驾驶员警觉性监控和自动车内配置。

表 1. 连续波飞行时间系统特性

深度相机是一种每个像素输出相机与场景之间距离的相机。测量深度的一种技术是计算光从相机上的光源传播到反射表面再返回相机所需的时间。此传播时间通常称为飞行时间 (ToF)。

ToF 相机由多个元素组成，包括：

· 光源(例如垂直腔面发射激光器 (VCSEL) 或边发射激光二极管)发射近红外光。最常用的波长是 850 nm 和 940 nm。光源通常是漫射源(泛光照明)，发射具有一定发散度(又称照明场或 FOI)的光束来照亮相机前方的场景。

· 调节光源发射光强度的激光驱动器。

· 具有像素阵列的传感器，可收集来自场景的返回光并输出每个像素的值。

· 将返回光聚焦到传感器阵列上的透镜。

· 与镜头位于同一位置的带通滤波器可滤除光源波长周围窄带宽之外的光。

· 一种处理算法，将传感器输出的原始帧转换为深度图像或点云。

可以使用多种方法来调制 ToF 相机中的光线。一种简单的方法是使用连续波调制，例如占空比为 50% 的方波调制。实际上，激光波形很少是完美的方波，可能更接近正弦波。对于给定的光功率，方波激光波形可产生更好的信噪比，但由于存在高频谐波，也会引入深度非线性误差。

CW ToF相机是一种使用连续波光(Continuous Wave)的时间飞行(Time of Flight)相机，它通过测量发射信号和返回信号之间的时间差来估算深度。这个时间差是通过计算发射信号和返回信号的基频之间的相位偏移来实现的。

首先，我们知道相位偏移ϕ和时间差t_d之间的关系是：

ϕ = 2πf × t_d

其中，f是信号的频率。

接下来，我们要用这个相位偏移来估算深度。因为光在空气中的速度是c，所以光在t_d时间内走过的距离是c × t_d。但是，这个距离是从相机到物体再返回相机的总距离，所以实际的深度d应该是这个距离的一半：

d = (c × t_d) / 2

现在，我们用相位偏移ϕ来表示t_d：

t_d = ϕ / (2πf)

将这个表达式代入深度的公式中，我们得到：

d = (c × ϕ) / (4πf)

所以，根据相位偏移ϕ和光速c，我们可以估算出深度d。这个公式告诉我们，只要知道信号的频率f和测量到的相位偏移ϕ，就可以计算出物体的深度。

传感器中的时钟生成电路控制互补像素时钟，这些时钟分别控制两个电荷存储元件(Tap A 和 Tap B)中光电荷的积累，以及激光驱动器的激光调制信号。可以相对于像素时钟的相位测量返回调制光的相位。像素中 Tap A 和 Tap B 之间的差分电荷与返回调制光的强度以及返回调制光相对于像素时钟的相位成正比。

使用同相检测原理，对像素时钟和激光调制信号之间的多个相对相位进行测量。这些测量结果结合起来，确定返回的调制光信号中基波的相位。知道这个相位就可以计算出光从光源传播到被观察的物体再返回传感器像素所需的时间。

高调制频率的优势

实际上，光子散粒噪声、读出电路噪声和多径干扰等非理想因素可能会导致相位测量出现误差。较高的调制频率可以降低这些误差对深度估计的影响。

这个简单的公式很大程度上解释了为什么调制频率高的ToF相机比调制频率低的ToF相机具有更低的深度噪声和更小的深度误差。

使用高调制频率的一个缺点是相位回绕速度更快，这意味着可以准确测量的范围更短。解决此限制的常用方法是使用以不同速率回绕的多个调制频率。最低调制频率提供无模糊性的大范围，但深度误差较大(噪声、多径干扰等)，而较高的调制频率则串联使用以减少深度误差。显示了具有三种不同调制频率的此方案的示例。最终深度估计是通过对不同调制频率的未回绕相位估计进行加权来计算的，其中较高的调制频率被分配更高的权重。

如果每个频率的权重都经过了最佳选择，深度噪声将与系统中所选调制频率的均方根 (rms) 成反比。对于恒定的深度噪声预算，增加调制频率可以减少积分时间或照明功率。

对性能至关重要的其他系统方面

开发高性能 ToF 相机时需要考虑许多系统特性，本文将简要介绍其中一些。

图像传感器

图像传感器是 ToF 相机的关键组件。当系统的平均调制频率增加时，大多数深度估计非理想性(例如偏差、深度噪声和多路径伪影)的影响都会降低。因此，传感器在高调制频率(数百 MHz)下具有高解调对比度(在 Tap A 和 Tap B 之间分离光电子的能力)非常重要。传感器还需要在近红外波长(例如 850 nm 和 940 nm)中具有高量子效率 (QE)，以便在像素中产生光电子所需的光功率更少。最后，低读出噪声有助于检测低返回信号(远或低反射率物体)，从而有助于相机的动态范围。

照明

激光驱动器以高调制频率调制光源(例如 VCSEL)。为了在给定光功率下最大化像素处的有用信号量，光波形需要具有快速的上升和下降时间以及清晰的边缘。照明子系统中的激光器、激光驱动器和 PCB 布局的组合对于实现这一点都至关重要。还需要进行一些特性分析，以找到最佳光功率和占空比设置，从而最大化调制波形傅里叶变换中基波的幅度。最后，还需要以安全的方式传输光功率，并在激光驱动器和系统级内置一些安全机制，以确保始终遵守 1 类人眼安全限值。

光学

光学元件在 ToF 相机中起着关键作用。ToF 相机具有某些独特的特性，这些特性推动了特殊的光学要求。首先，光源的照明场应与镜头的视场相匹配，以实现最佳效率。镜头本身应具有高光圈(低 f/#)，以提高光收集效率，这一点也很重要。大光圈可能会导致晕影、浅景深和镜头设计复杂性等其他权衡。低主光线角镜头设计还可以帮助降低带通滤波器带宽，从而改善环境光抑制，从而提高户外性能。光学子系统还应针对所需的工作波长进行优化(例如，抗反射涂层、带通滤波器设计、镜头设计)以最大程度地提高吞吐效率并最大程度地减少杂散光。还有许多机械要求，以确保光学对准在最终应用所需的公差范围内。

能源管理

在高性能 3D ToF 相机模块设计中，电源管理也至关重要。激光调制和像素调制会产生短时间的高峰值电流，这对电源管理解决方案造成了一些限制。传感器集成电路 (IC) 级别的一些功能可以帮助降低成像器的峰值功耗。还可以在系统级别应用电源管理技术，以帮助减轻对电源(例如电池或 USB)的要求。ToF 成像器的主模拟电源通常需要具有良好瞬态响应和低噪声的稳压器。

深度处理算法

最后，系统级设计的另一个重要部分是深度处理算法。 ToF 图像传感器输出原始像素数据，需要从中提取相位信息。此操作需要不同的步骤，包括噪声过滤和相位展开。相位展开块的输出是光从激光器到场景再回到像素所经过的距离的测量值，通常称为范围或径向距离。

径向距离通常转换为点云信息，该信息通过其真实世界坐标(X，Y，Z)表示特定像素的信息。通常，最终应用程序仅使用 Z 图像图(深度图)而不是完整点云。将径向距离转换为点云需要了解镜头内在参数和失真参数。这些参数是在相机模块的几何校准期间估算的。深度处理算法还可以输出其他信息，例如主动亮度图像(返回激光信号的幅度)、被动 2D IR 图像和置信度，这些信息都可以用于最终应用程序。深度处理可以在相机模块本身上完成，也可以在系统中其他地方的主处理器中完成。

表 2 概述了本文中介绍的不同系统级组件。未来文章将更详细地介绍这些主题。

表 2. 3D 飞行时间相机的系统级组件

结论

连续波飞行时间相机是一种功能强大的解决方案，可为需要高质量 3D 信息的应用提供高深度精度。要确保实现最佳性能水平，需要考虑许多因素。调制频率、解调对比度、量子效率和读出噪声等因素决定了图像传感器级别的性能。其他因素是系统级考虑因素，其中包括照明子系统、光学设计、电源管理和深度处理算法。所有这些系统级组件对于实现最高精度 3D ToF 相机系统都至关重要。这些系统级主题将在后续文章中更详细地介绍。