高性能标准CMOS传感器在3D视觉、检测和测量中的使用

概述

3D成像技术在几十年前就出现了，但第一个产品直到2000年代才商业化，当时许多大型电影公司使用最新的高清视频摄像机，以3D形式发行电影。此后，该领域在速度、精度和3D成像分辨率方面都有了飞跃式的发展，不仅是在消费市场，在机器视觉行业也得到了广泛的应用。

随着工业4.0革命的到来，由于2D视觉在复杂物体识别、尺寸标注的精度和距离测量方面的局限性，以及人类/ 机器人交互等复杂情况下的局限性，3D视觉的需求正在增加。

3D视觉增强了工厂自动化市场中机器人/机器系统的自主性和有效性，因为这对于更高精度的质量检测、逆向工程等2D视觉受限的应用至关重要。此外，视觉系统引导机器人的使用正在增长，需要3D视觉来实现更好的远程引导、障碍识别和精确移动。

3D视觉还使用了能预防和解决危险情况的系统，以及能够计数和区分人与机器人或物体的监视系统，实现在密集的人机交互中保护工厂工人的安全。

3D视觉正在影响社会，因为它能够为最终用户提供更安全、性能更好和更有效的辅助系统。例如，3D视觉是自动驾驶汽车、协作机器人等高级汽车辅助驱动系统的推动因素。

在条形码扫描和OCR等领域，2D成像仍然存在。它在工厂和仓库中发挥着不可或缺的作用，在这些地方，得益于区块链的采用以及推动着物流中心和运输实现惊人增长的电子商务繁荣，其使用正在上升。Teledyne e2v公司拥有专门用于代码扫描的独特2D成像产品，如Topaz传感器系列，具有实现高扫描速率和可靠性的性能与特点。

为了获得3D图像，存在多种技术和方法。主要有：

• 立体视觉 - 使用两个安装在物体不同视角的摄像头，采用校准技术对齐摄像头之间的像素信息并提取深度信息。这类似于我们的大脑进行视觉距离测量的工作方式

• 结构光 - 一个已知的光图案被投射到一个物体上，深度信息通过该图案在物体上的形变方式来计算

• 激光三角测量 -

激光三角测量系统通过将相机与激光源配对来实现三维测量。由于已知激光和相机之间 的角偏移， 该系统使用三角函数测量激光线的几何偏移(其值与物体的高度有关)。该技术基于对物体的扫描。

• 飞行时间 - 光源与图像传感器同步，根据光脉冲与反射回传感器的光之间的时间计算距离。

每种技术都有其优缺点，因此，取决于目标应用(特别是距离范围和深度精度要求)，有些技术比其他技术更适合。表1中进行了相对比较。

表1：3D成像技术的顶层比较

虽然它仍然代表着工厂自动化和仓库视觉系统的一小部分，但目前越来越多的3D系统使用都是基于3D立体视觉、结构光相机或激光位移的基础。这些系统在固定的工作距离下工作，需要对特定的检测区域进行大量校准工作。飞行时间系统克服了这些挑战，从应用的角度提供更多灵活性，但其中大部分仍然受到图像分辨率的限制。

Teledyne e2v在机器视觉方面底蕴深厚，包括在线扫描相机和区域扫描传感器，现在已经建立了一个专门用于3D成像的独特平台。这将支持最新的工业应用，如视觉引导机器人、物流自动化引导车辆 (AGV)、工厂监控和安全、手持扫描仪和户外应用。Teledyne e2v旨在基于多种3D技术提供始终如一的产品，满足客户的应用需求。

超越2D，3D视觉带来快速而准确的检测，提高生产率

工厂的自动化提高了生产率，从产品检测和库存的所有周期中节省时间和成本。为了优化这些因素，拥有视觉系统的机器需要以更高的速度和更佳的性能运行。

随后，由于2D视觉受到限制，3D视觉被广泛应用于更高精度的质量检测、逆向工程或物体尺寸检测。激光三角测量技术通常用于这些类型的应用，因为三轴上要求高分辨率，因此需要非常高速的传感器。

3D Inspection 

Measuring Shapes

 Volume Inspection (Logistics)

图1：激光三角测量应用示例

10多年来，Teledyne e2v一直与3D激光三角测量市场领导者合作，开发定制传感器。2019年，Teledyne e2v推出现成传感器系列 Flash，以满足高速生产线对高速体积测量和检测的挑战性要求。

Flash CMOS传感器出色地将4096 x 1024像素和2048 x 1024像素的分辨率结合，分别具有1800 fps和1500 fps

(8位) 的帧速率以及61.4 Gbps和25.6 Gbps的标准光学格式读出速度 (分别对应 APS似光学和C-Mount)。

新传感器的设计旨在为相机制造商提供低成本的便捷集成，包括广泛的基于应用的功能，使其在使用中具有很高的灵活性，例如：

• 高达100 dB的高动态范围模式，能够通过高达100 dB的HDR模式测量和检测同一图像中的高反射表面和暗区

• 多个感兴趣区域模式，允许在剖面速率和高度测量的范围/分辨率之间进行完美的平衡

• 一些参数的帧到帧“热”变化模式，实现灵活性和对环境条件的实时适应

• 不同的触发模式，完美适应生产线的速度

对工业市场的主要好处：

• 更高的生产速率 - 得益于非常高的帧率与2k或4k水平分辨率结合

• 具有成本效益的系统 - Flash系列提供水平高分辨率和所需的垂直分辨率(相对于标准形状因数)， 以减少硅尺寸，从而降低传感器和系统成本

• 使用上的高度灵活性 - 例如，由于其单一捕获HDR等功能，可以实时适应环境条件和生产线速度。

超越2D，3D视觉简化工厂的自主性和有效性

为了提高工厂自动化的自主和有效运作，自主引导机器人的使用越来越多。随着工厂和仓库变得越来越自动化，工作站中人类与机器之间的合作越来越紧密，使预防和安全变得更加重要。

在这种不可预测的工作环境中，飞行时间系统 (ToF) 是理想之选，因为它们具有实时3D信息获取和决策能力，在快速场景中检测物体或人物的能力。飞行时间技术具有两种方法：直接飞行时间和间接飞行时间：

• 直接飞行时间 -该系统通过直接计算光线从物体上反射回来的时间来测量距离

• 间接飞行时间 -该系统通过计算光信号发射到物体和反射回来时的相位差来测量距离。这使得系统能够构建3D图。

图2：直接飞行时间与间接飞行时间的利弊

Teledyne e2v公司通过定制传感器为直接飞行时间系统提供解决方案，通过完整的标准产品组合为间接飞行时间系统提供解决方案。

Teledyne e2v拥有超过10年的飞行时间技术和解决方案经验，具有创新飞行时间像素的强大能力，这是基于自动化机器人汽车和监控领域领先研发的定制传感器经验。

我们设计的标准飞行时间传感器具有客户正在寻求的以下关键特性：

• 高空间分辨率传感器，实现大视场覆盖和高角度分辨率

• 快速和实时的3D检测，没有任何运动伪影，全分辨率下超过30 fps的深度图

• 兼有中短距离、长距离检测和管理

• 任何条件下的超可靠距离测量：卓越的精度以及对环境光条件和多系统操作的稳健性

处理复杂环境操作的飞行时间

与其他3D技术相比，飞行时间系统具有速度快、操作简单、价格低廉、具有良好的中长距离3D性能等优点。

如前所述，飞行时间系统高度灵活，因此系统可以安装在移动机器人中，因为它不需要根据设置进行校准(如工厂校准)。该系统还可以适应各种操作设置，使飞行时间系统能够很好地适应复杂环境和条件下的操作。

下面是工厂和仓库应用的一些示例，飞行时间是其中的最佳选择。

图3：飞行时间应用示例

• 测量箱子或包装的大小和体积 - 飞行时间成像系统可以测量箱子/包裹的大小和体积， 获得最有效的托盘化或调整(包装和卡车装载优化)或高效的产品线

• 用于智能和高效仓库管理的货物识别 - 飞行时间成像系统在比常规2D图像处理更短的时间内检测货物或包裹的尺寸

• 拾取和放置 - 飞行时间成像系统进行检测和识别，使正确的对象在正确的位置被拾取和放置，具有非常高的精度水平，比传统2D图像的处理时间更短。

与其他3D技术相比，飞行时间系统更有利于机器人在工厂环境中自主安全导航。

图4：机器人导航应用示例

如今，大多数导航系统使用传统的激光雷达扫描仪来检测目标，但有一些缺点，越来越多的解决方案正在出 现，如间接飞行时间等替代技术。与传统的激光雷达扫描仪相比，间接飞行时间系统提供实时图像信息，响应速度快，无运动伪影。它们也更坚固、更紧凑，因为不涉及机械部件，而且更便宜，因为它是一种使用更少功率和更少计算的固态设计。

表2：传统激光雷达与间接飞行时间的“顶层”比较

在上述应用程序中，飞行时间系统处理了许多挑战。该系统需要处理从10米开始的短距离和中距离，需要在没有任何运动伪影的情况下实现快速度(今天，市场上的大多数飞行时间解决方案都专注于5-6米的短距离)。此外，当机器人在工厂/仓库中移动且需要在同一区域内不受其他机器人干扰的情况下操作时，该系统可以适应多种不断变化的光照条件。

为了应对所有这些具有挑战性的条件，Teledyne e2v公司于2020年7月推出Hydra3D传感器。这类领先的飞行时间传感器具有创新的像素和高度灵活的配置，提供非常高的动态范围，这是飞行时间应用中非常深层次的东西( 大范围物体反射和距离的结合)。Hydra3D的分辨率为832 x 600像素，具有10微米三内存节点尖端像素，可实现最高水平的3D性能，包括高深度分辨率、高速度和灵活的操作条件。

Hydra3D还具有创新的多抽头像素，能够同时获取构建3D图像所需的三个相位，从而能够在没有任何运动伪影的情况下，从快速移动的场景中获取准确的3D信息。

三内存节点像素能够在一帧中捕获和存储重建3D图所需的不同相位的信息，而不是其他间接飞行时间技术所需的多帧。这可以在快速移动场景中有力地避免任何运动伪影。这类似于在2D视觉中对比全局快门模式和卷帘快门模式。

三内存节点像素可以用一串光脉冲捕获所有相位，从而优化光照功率利用。

在上述例子中，需要三个图像(两个相位+背景)。如果使用单内存节点像素传感器(目前最常见)，则需要循序地曝光和读出多个相位。拍摄一次光得到相位0，另一次得到相位1，然后运行第三次没有光的采集并读出以获得背景信号。然后计算3D图像。因此，如果有一个移动的物体，运动伪影将出现，因为每个相位物体将位于不同的位置。此外，光脉冲序列需要发送并拍摄两次，即每个相位一次。

使用多内存节点像素传感器，例如上述三内存结点像素，所有曝光和读出都以交错的方式进行，因此所有相位几乎都是并行获得的，可以最大程度地减少运动伪影。此外，由于相位可以用单个光脉冲序列捕获，因而降低了平均光照功率，这从眼睛安全和功耗的角度来看都很重要。

图5：单内存结点像素与三内存结点像素对比图

注意，运动伪影和运动模糊之间的区别类似于2D视觉中滚动快门和全局快门之间的区别。运动模糊可以稍微扭曲快速移动的对象，但不会提供错误信息，而运动伪影可以彻底改变对象的外观并提供错误的测量，这在某些应用程序中可能产生重大后果。

图6：运动模糊与运动伪影

Hydra3D传感器的其他优点包括配置的灵活性和其他片上特性。例如，一个强大的片上HDR功能结合了高帧率和灵活配置，可以在距离范围、物体反射率、帧率等之间进行平衡，同时具有抗环境光干扰的稳健性。在单一触发序列中，Hydra3D启动了一系列采集和读出，易于编程，从而成为一个非常强大的工具，能够适应各个应用的条件。多个测量序列允许在不同的距离范围或以不同的精度测量，或执行2D捕获，全部都在一个单触发序列中。最重要的是，序列可以在帧与帧之间实时变化，无需停止传感器。

独特的片上特性，稳健的抗多飞行时间系统干扰功能，使非同步系统可以同时工作而不互相影响。由于飞行时间需要主动照明，一个系统可能会受到在同一区域同时运行的另一个系统发出的光的干扰，这可能导致不正确的距离测量。

Hydra3D传感器的主要特点：

CCD时代的飞行时间：

飞行时间图像处理比传统的2D视觉系统复杂得多。它涉及光学和取决于几个参数的光系统

(如传感器或视场、工厂内校准、特定传感器配置)，以完美地满足应用需求。

我们经常将飞行时间传感器与CCD传感器进行比较，因为设置的复杂性要求在系统级别上投入大量精力来集成传感器，因此掌握应用设置的需求变得至关重要。

Teledyne e2v 公司基于自己在飞行时间CMOS传感器方面的专长，并与客户密切合作，在评估飞行时间系统固有挑战方面获得了扎实的经验。为了帮助客户缩短上市时间，并获得最佳的飞行时间系统，满足他们的应用需求，我们提供从CMOS图像传感器、定制相机模块到完整系统集成支持的技术解决方案。这包括评估平台的参考设计、光和光学评估、人眼安全考虑、建模和仿真、算法和校准等。

图7：Teledyne-e2v公司的飞行时间技术支持涵盖范围

总结

随着工厂和配送仓库的日益自动化，对有效和自主工业系统的需求日益增加，尤其是针对引导机器人和机器的3D视觉(实现物体识别、导航、高速度和高精度)。目前存在多种3D技术，每种技术都有其利弊，首选的技术在很大程度上取决于应用要求。所有这些技术都需要具有复杂功能的高性能传感器。

Teledyne e2v公司得到市场领导者的认可，提供广泛的独特解决方案，包括3D视觉，服务于工厂自动化、物流和计量应用等工业市场。我们在高性能CMOS图像传感器(结合尖端像素和特殊功能)方面的独特专长，加上超过10年的飞行时间系统经验，使我们能够帮助客户克服当前的3D视觉挑战。