具有实时跟踪功能的忆阻视觉传感器架构

本文介绍一个依靠忆阻器执行像素级自适应背景提取算法的成像传感器架构。内置光频转换器(L2F)的像素是图像处理的核心组件，其输出的与光强成正比的数字脉冲被施加到忆阻器后，忆阻器电阻将会发生相应变化。另外两个忆阻器用于保存动态边界，边界外的光生信号行为被认为是异常，即意外快速变化。与全CMOS成像传感器相比，基于忆阻器的解决方案可取得更小的像素间距和非易失性存储功能，让设计人员能够使用可编程时间常数建立图像背景模型。

1.前言

过去的几十年，业界围绕CMOS架构视觉传感器理论进行了大量广泛的研究和探讨，旨在于在成像早期阶段处理图像，从场景中提取最重要的特征，如果换作其它方式达到同样目的，例如，使用普通计算技术，则需要为此花费昂贵的成本[1],[2],[3],[4],[5],[6]。在这个方面，运动侦测是最重要的图像特征之一，是多个复杂视觉任务的基础。本文重点介绍时间对比概念，这个概念在很多应用中特别重要，包括交通监控、人体运动拍照和视频监视[2], [4], [5], [7]。这些应用要求图像侦测精确并可靠，形状侦测准确，变化反应及时。此外，运动检测还必须灵活地适应不同的工作场景和光强条件。背景提取是目前最被认可的运动侦测方法。背景提取就是生成一个背景估算值，然后逐帧更新。分析运动类型，并将其与场景中特定对象关联，以便进行更高级别的处理，在这个过程中，光强变化无疑是帮助我们发现运动的第一个线索。因为可能会在某一时间点意外侦测到所有像素的变化，其中包括光线、阴影、噪声引起的变化，相对于过去，像素变化过快时，应该考虑的潜在变化。因此，应该在像素级实现一种低通存储器，跟踪像素对比变化，并在像素行为变化时发出报警。

本文介绍如何利用忆阻器实现上述算法。在上个世纪70年代，蔡少棠教授从理论上预言存在一种叫做忆阻器的无源器件，2008年惠普实验室演示了这种无源器件的物理模型，顾名义，忆阻器是一种可变电阻器，其导通状态能够记忆以前流经忆阻器的电流历史。

本文主要内容如下：下一章介绍与输入偏压有关的忆阻器行为，特别是基于脉冲的编程，这是本文的研究基础。第三章介绍像素工作原理，第四章重点介绍像素实现。第五章介绍仿真结果，第六章是结论。

II.忆阻器行为

如前文所述，忆阻器可以视为一个时间可变的电阻器，电阻值取决于以前流经忆阻器的电流值。

图1：忆阻器和简化等效电路图。图a:TiO2忆阻器结构;图b:等效电阻器电路

首次提出的忆阻器概念的是蔡少棠教授，在推理无源电路理论的等式对称性依据时，他认为忆阻器是电阻器、电容器、电感器之外的第四个基础无源器件[8]。在发现忆阻器物理模型后，很多人想利用忆阻器令人兴奋的记忆特性开发模拟集成电路。惠普实验室开发的首个物理模型基于TiO₂的两个区[9]：一个高电阻的非掺杂区和一个有高导电氧空穴TiO_2-x的掺杂区,这两个区夹在两个金属电极板的中间，如图1a所示。当向忆阻器施加外部偏压时，掺杂层和非掺杂层之间的边界就会移动，位移是所施加的电流或电压的函数，因此，带电荷的掺杂区的漂移导致两个电极之间电阻变化 [10]。对于简单的电阻导电情况，下面等式定义了电压电流关系：

其中，R_ON是掺杂原子浓度高的半导体薄膜的高导电区的电阻;R_OFF是高电阻非掺杂区的电阻;D是忆阻器的长度;状态变量w(t)是掺杂比，u是掺杂迁移率。等式(2)积分运算得出w(t)公式：

将(3)代入(1)，取得忆阻值。

若R_ON≤R_OFF，忆阻值可用下面等式表达：

利用参考文献[9]取得与上面等式相关的参数，使用Verilog-A语言开发一个忆阻器行为模型，通过电路仿真，使用下列参数验证该模型：R_ON = 200Ω，R_OFF =200KΩ，u₂= 10^-10cm²S^-1V^-1，D = 10nm。只要系统在MЄ (R_ON , R_OFF )边界内，忆阻器就会表现出对称行为。当触达任何一个边界时，忆阻器将会像线性电阻一样动作，将边界电阻保持到输入极性变反为止[9], [11]。图2所示是典型的忆阻特性曲线，忆阻器这些有趣行为共同构成忆阻器或各类忆阻性设备的基本特征[12]，图2a是施加电压及相应电流对时间t的曲线。图2b所示是电流-电压特性曲线。从图中不难看出，当w≤w0时，滞后出现，当w≫w0时，滞后缩短。图2c是忆阻器在不平衡输入信号条件下的行为曲线，我们观察到，在前三个周期内，w(t)值逐渐升高，这是在一定时间内净电荷量累加的结果。在连续施加三个周期的极性相反的信号后，w(t)降至初始状态。总之，如图2a和2b所示，任何对称交流偏压都会导致双环电流-电压滞后现象，高频时下降至一条直线。此外，对于偏压出现的任何非对称，如图2c和2d所示，我们观察到一个多环电流电压滞后，随着电流升高，多环电流电压滞后更加明显。

[!--empirenews.page--]

图2：电压驱动式忆阻器的行为仿真结果。在图a中，施加的对称输入电压(红色)和相应电流(蓝色)是时间的函数。图b是对称输入电流-电压特性曲线。下降线对应曲度更高的曲线。在图c中，非对称输入施加电压(红色)和相应电流(绿色)是时间的函数。图d是非对称输入电流-电压特性曲线。图a中的施加电压是±v0 sin(w0t)，而图c中的施加电压是±v0 sin²(w0t), 其中w0 = 2ￗf₀ = 2ￗu₂/D²。

忆阻器初始电阻通常很大，施加极性相反的连续或脉冲电压可使电阻线性降至一个低电阻的谷底，如图3 [13], [14], [15]所示。施加极性相反的电压可使忆阻器恢复初始高电阻，恢复时间通常比直接恢复方法短很多[9]。在图3中，忆阻器的初始电阻值很高，向忆阻器施加一序列占空比可控的脉冲频率w_p=5w₀、电流幅度ip = 160uA的电流脉冲，以此可以向忆阻器写入数据。占空比越高，流经忆阻器的电荷量就越大，导电速度也就越快。忆阻器具有脉冲式非线性编程功能，用光频率转换器作为编程信号源，用与光强成正比的电流脉冲驱动忆阻器，可实现光阻(L2R)编码。如图6的像素架构示意图所示。除其独特的非线性编程外，忆阻器还可视为兼有电容器的存储效应与电阻器的无漏电性。所有这些，结合其小尺度和易实现性，使其成为一个最有趣的模拟信号处理应用元器件，不过，本文只讨论如何在紧凑的像素内使用忆阻器执行背景提取功能。

图3：在使用一系列不同占空比的编程频率w_p=5w₀、电流幅度ip = 160uA的电流脉冲给阻器编程时的忆阻-时间变化速度

III. 工作原理

在讨论传感器架构之前，需要描述一下像素级自适应背景提取算法[16]。我们考虑成像传感器的一个像素给一个特定场景点编码的情况。该像素以帧速率fps采集光强，并将其转换成电压V_S(nT)，其中T = 1/fps是像素传感器采样时间，整数n 表示帧个数。在传感器工作过程中，像素采集的光强呈动态变化，变化速率取决于场景内运动类型或环境光的变化。通过监视信号动态变化和振幅，每个像素需要检查场景中是否发生潜在异常。为此，必须从现有图像(Fi)提取背景(B)，然后比较最终差值与正确的阈值(TH)：

达到阈值的像素被标记为热像素，即在场景中检测到一个潜在的报警;未达到阈值的像素被识别为冷像素。考虑到背景易于变化，根据实际应用情况，选用复杂程度不同的模型：

l 帧差：假定背景值等于过去图像值(B = F_i-1)。这是一个简单易懂的方法，不过不是非常可靠。事实上，帧差对阈值(TH)、帧速率和物体速度非常敏感：

l 简单移动平均法：考虑到在若干个帧内的背景变化。这种方法需要n个帧缓冲器，但是占用非常多的存储容量和运算性能:

l 指数移动平均法: 该方法需要一个无限脉冲响应滤波器，应用了指数降低加权系数(0<a<1)概念：

该方法的主要优点是，不需要增加存储器，通过改变学习速率值a，即可微调滤波器。

考虑到上述方法的硬件实现问题和稳健性，我们利用指数移动平均法和两个电压阈值而非参考文献(6)的一个阈压建立了一个背景模型。阈压定义了信号可以安全变化(冷像素)的电压范围，超过这个安全范围(高于最高阈压或低于最低阈压)，信号被视为异常(热像素)，可能会触发一次报警。

                              图4：在像素级执行背景动态提取算法

图4所示是背景提取算法的工作原理。该示例是一个单像素在20帧期间的工作情况。黑色曲线表示像素获取的信号电压VS，红线(Vmax)和蓝线(Vmin)波形是界定灰色区上下边界的两个阈压值的集合，在灰色区域内，信号可以自由变化，不会出现任何报警。信号电压VS经低通滤波后生成信号，每个滤波器在两个时间常量(t_H<t_L)之间开关操作，具体情况取决于下面条件：

其中，等式(10)和(12)分别表示V_max和V_min的热像素条件，而等式(11)和(13)则表示冷像素条件。两个阈值的行为界定了一个根据信号动态在一段时间内变化的灰色区域，灰色区域代表VS未发现异常条件的运动的电压范围，例如，如果VS突然从亮变暗，越过灰色区域上边界(V_max)，则生成一个热像素。

                                图5：两个一阶低通滤波器生成图4中的两个阈压。[!--empirenews.page--]

因此，当V_max试图快速触达V_S过程中，V_min也在做同样的事情，只不过速度较慢。这里，灰色区域快速变大。在若干个帧后，两个阈压限制V_S，吸收全部信号变化，这样不会再产生任何热像素。从此，灰色区域恢复窄状和最大像素敏感度。

                   图6：利用内部三个忆阻器执行动态背景提取的像素示意图

IV. 像素实现

可以用两个理想的低通滤波器来实现等式(10)-(13)。如图5所示，LPF1实现等式(10)和(11)，LPF2实现等式(12)和(13)。假设理想二极管D1-D4(无电压降)，且R_L> R_H, 每个模块实现两个不同的一阶阻容滤波器，TH = RHC，且TL = RLC, 其中R_H>> R_L。监视场景中的事件需要从几秒到几十秒的大范围时间常数滤波器，这意味R和C应该分别是兆欧和微法量级的电阻器和电容器。每个模块(LPF1, LPF2)都必须能够从一个时间常数切换到另一个时间常数，从而取得自适应算法所需的行为特性。为取得一个高效的视觉传感器架构，这种双边峰值检测和滤波操作必须在像素附近的位置完成。为此，有些人提出定制CMOS传感器解决方案[17],[7],[18],使用开关电容器技术模拟每个像素里面的两个滤波器。不过，这种设计方法有以下两个缺点：(a)两个阈压值在模拟存储器内的保留时间达不到应用的求;(b)充当模拟存储单元的电容器占用的芯片面积过大，影响像素间距变小。为解决这些主要问题，我们探讨能否用一个忆阻器代替滤波器的部分功能，发挥其非易失性存储和纳米级尺度的优势。此外，通过数字脉冲(电压或电流)信号很容易控制忆阻器的电阻，按照图4的工作原理，我们的像素解决方案依靠三个忆阻器(M_S, M_max，M_min)保存与信号V_S成正比的电阻值和两个阈压V_max和V_min。像素解决方案的原理示意图如图6所示。光频转换器 (L2F)模块将留在像素上的光强转换成固定脉宽(△T)且频率与光生电流(I_ph)成正比的数字脉冲，在像素复位过程中，M_S电阻值置于最高值(M_SL = R_OFF ),等待L2F数字脉冲设置电阻值。

图7：像素在积分时间(Ti)内的时序图，L2F将n个数字电流脉冲I₁馈入M_S，使忆阻器电阻在R_off至R_(n)范围内变化

图8：与像素的四个不同状态有关(max,min)的忆阻器控制： LL，HL，LH，HH

图9：在每个更新脉冲 (PLS)后，通过忆阻器电阻值(M_max, M_min)表达两个阈压在每个像素状态(表I所列像素状态: S1, S2, S3, S4)的预计行为。S1、S2和S3是发生在传感器工作期间的典型状态，而S4则发生在传感器校准阶段，是专门生成的信号。

A. 曝光时间

在曝光时间(Ti)内, L2F转换器生成一串振幅I1、脉宽△T且频率与光强成正比的电流脉冲，送入M_S，如图7所示。下面的等式通过状态变量w(t)描述了M_S的状态：

其中，R_ON是低电阻，D是忆阻器长度，uv是掺杂迁移率，n是L2F在曝光时间内生成的脉冲数量，在施加n个脉冲后，最终电阻值是：

B. 读出和热像素侦测

在曝光时间后，比较M_S与M_max和M_min值，因此，像素连接位线(SEL=H)，向三个忆阻施加相同的偏置电流I_bias，使忆阻器电压施加到三个位线上(blS，blH, blL)。然后将blS与blH和blL电压分别比较，以检测潜在热像素条件。将SW1、SW2和SW3都设到位置”3”，因此，使共节点C短接V_ref，向M_max和M_min施加偏置电流I_bias。最后，取得下面的电压降：

使用置于像素外部的两个时钟驱动的列级(HBLOCK)比较器完成热像素检测。表I列出了不同像素状态的数字输出信号。

C. 阈压更新

图8描述了两个忆阻器(M_max和M_min)的控制与S1、S2、S3和S4四个像素状态的关系。为实现一个时间常数T_H短的滤波器，用信号PLS生成的△T_P脉宽的电流脉冲IPH驱动忆阻，馈入HBLOCK。通过估算注入到器件的电荷q_HOT = IH∙△T_P和施加的脉冲数量”m”，设置滤波器的时间常数。另一方面，考虑到冷像素条件，慢滤波器负责处理电荷qCOLD = IPL∙△T_P，q_COLD< q_HOT。这意味，给忆阻器提供的电荷量相同时，在q_COLD情况下，忆阻变化不大。通过选用图8所示的电路配置，有时可以进行两个阈压的更新过程。假设像素状态是S3，向M_max馈入q_HOT = I_H∙△T_P , 同时向Mmin馈入q_COLD= (I_H-I_d) ∙△T_P, I_d = IH-IL。在这种情况下，两个阈压(V_max和V_min)都接近电流信号V_S，但是以不同的速度接近(V_max上升快，V_min下降慢)。

V. 仿真结果

我们使用MATLAB建立了自适应背景提取算法模型并进行了仿真测试[7],[18]。如图6所示，我们模拟了像素架构的四种不同状态，使用Cadence Spectre [19]通过电仿真再现了图9所描述的预期行为。像素架构设计采用3.3V、0:35m CMOS制造工艺，按照[9]和[20]所列等式，使用Verilog-A模拟忆阻器行为，选择宽忆阻范围(R_ON = 200Ω,R_OFF = 200KΩ)，以覆盖更大的动态范围。曝光时间值不宜过大，以不会在高频光阻编码过程中导致Ms进入导通状态为准。

使用相同的仿真参数验证四个像素状态，仿真结果见图10。用L2F在10 ms曝光时间(Ti)内生成的数字脉冲设置Ms。在忆阻重置到R_OFF状态前，比较Ms的最终值与M_max和 M_min值。然后，根据像素条件，对M_max和M_min进行相应的调整。图10a是图8的像素状态S1的仿真结果。这里，像素工作正常，如曲线所示，M_max和M_min保持向Ms缓慢汇合的趋势。我们还注意到，热像素的二进制信号始终是低电平状态。

在像素的其它状态: 图8中的S2, S3，S4，仿真结果发现一个热像素，我们观察到两种情况。一种是，热状态像素直接随正常像素条件变化，另一种情况是热状态像素(典型S4)将必须变成另一个热像素条件(S2 或S3)，才能返回到正常条件(S1)。

A. 直接从热像素状态转到冷像素状态

像素状态S2和S3通常直接转到正常像素条件。从图10b不难看出，在S2状态中，M_max和M_min尝试以不同的时间常量接近Ms，在这个过程中，M_max升高速度比快M_min很多，直到像素恢复到正常工作条件为止。如图10c所示，当像素在S3状态时出现反转，M_min以比M_max更快速度的下降接近Ms。图10d是S4状态的仿真结果。在这种情况下，M_max上升速率与M_min下降速率相同，直到像素恢复到正常条件为止。在所有情况下，变化速率是由所施加的电流脉冲振幅控制的。

B. 从一个热像素状态转到另一个热像素状态，然后转至冷像素

虽然S4是一个典型的禁用状态，是根据M_max和M_min两个阈值发生的热像素，但是通常发生在校准阶段系统上电过程中。在这种情况，传感器是照片拍摄模式，算法尝试将两个阈值快速汇合到冷像素条件，同时像素故意设置为状态S4。这个阶段可需要几个帧，直到整个像素达到冷状态为止。在S4状态，热像素不视为潜在报警。在图10e中，上边界M_max在下边界M_min之前稳定，导致S4转至S2，再转至S1。图10f是这种情况的结果：M_min在M_max之前稳定; 我们观察到，从S4进入S3，再进入S1。

图10：内置三个忆阻器执行动态背景提取的像素架构在图6所示LL, HL, LH, HH条件下的电仿真结果。图a, b, c, d分别是四个不同控制状态S1, S2, S3、S4的仿真，从热直接变冷。图e, f是控制状态S4仿真，从热间接变冷，还描述了每个像素状态的热像素(HOT)二进制信号。红色条状图表示与上阈压V _max有关的异常事件(热像素检测)，上阈压V _max由M_max决定;而蓝色条状图代表下阈压V _min有关的异常事件，下阈压V _min由M_min决定，详见图4给出的算法工作原理。

VI. 结论

本文论述了如何有效地结合CMOS电子元器件使用忆阻器，实现一个高效分布式处理兼备存储功能的视觉传感器架构，执行稳健的实时图像处理。本文主要论述了被称作目标跟踪引擎的自适应背景提取技术。忆阻器具有纳米级尺度和非易失性，有望成为全新的嵌入式分布处理和存储功能兼备的并行计算机的理想元器件。当芯片内部滤波器需要长时间常数或片上存储器需要更长的数据保存时间时，忆阻器的特性将具有更重要的意义。

参考文献

[1] J. Choi, S. Park, J. Cho, and E. Yoon, “A 3.4 w cmos image sensor withembedded feature-extraction algorithm for motion-triggered object-ofinterestimaging,” in Solid-State Circuits Conference Digest of TechnicalPapers (ISSCC), 2013 IEEE International, Feb 2013, pp. 478–479.

[2] P. Lichtsteiner, C. Posch, and T. Delbruck, “A 128 x 128 120dB30mW Asynchronous Vision Sensor that Responds to Relative IntensityChange,” in IEEE ISSCC Dig. Tech. Papers, Feb. 2006, pp. 25–26.

[3] N. Massari, M. Gottardi, and S. A. Jawed, “A 100W 64128 像素sContrast-Based Asynchronous Binary Vision Sensor for Wireless SensorNetwors,,” in IEEE ISSCC Dig. Tech. Papers, Feb. 2008, pp. 588–589.

[4] G. Kim, M. Barangi, Z. Foo, N. Pinckney, S. Bang, D. Blaauw, andD. Sylvester, “A 467nw cmos visual motion sensor with temporalaveraging and 像素 aggregation,” in Solid-State Circuits ConferenceDigest of Technical Papers (ISSCC), 2013 IEEE International. IEEE,2013, pp. 480–481.

[5] T. Ohmaru, T. Nakagawa, S. Maeda, Y. Okamoto, M. Kozuma,S. Yoneda, H. Inoue, Y. Kurokawa, T. Ikeda, Y. Ieda et al., “6.5 25.3wat 60fps 240160-像素 vision sensor for motion capturing with in-像素non-volatile analog memory using crystalline oxide semiconductor fet,”in Solid-State Circuits Conference-(ISSCC), 2015 IEEE International.IEEE, 2015, pp. 1–3.[!--empirenews.page--]

[6] A. Berkovich, M. Lecca, L. Gasparini, P. Abshire, and M. Gottardi,“A 30 w 30 fps 110x110 像素s vision sensor embedding local binarypatterns,” Solid-State Circuits, IEEE Journal of, vol. 50, no. 9, pp. 2138–2148, Sept 2015.

[7] N. Cottini, M. Gottardi, N. Massari, R. Passerone, and Z. Smilansky,“A 33w64;; 64 像素 vision sensor embedding robust dynamicbackground subtraction for event detection and scene interpretation,”Solid-State Circuits, IEEE Journal of, vol. 48, no. 3, pp. 850–863, March2013.

[8] L. Chua, “Memristor - the missing circuit element,” IEEE Trans. CircuitTheory, no. 18, pp. 517–519, 1971.

[9] D. B. Strukov, G. S. Snider, D. R. Stewart, and R. S. Williams, “Themissing memristor found,” Nature, vol. 453, no. 7191, pp. 80–83, 2008.

[10] J. Blanc and D. L. Staebler, “Electrocoloration in srti o 3: Vacancy driftand oxidation-reduction of transition metals,” Physical Review B, vol. 4,no. 10, p. 3548, 1971.

[11] M. P. Sah, C. Yang, H. Kim, and L. Chua, “A voltage mode memristorbridge synaptic circuit with memristor emulators,” Sensors, vol. 12,no. 3, pp. 3587–3604, 2012.

[12] L. O. Chua and S. M. Kang, “Memristive devices and systems,”Proceedings of the IEEE, vol. 64, no. 2, pp. 209–223, 1976.

[13] S. Shin, K. Kim, and S.-M. Kang, “Memristor applications for programmableanalog ics,” Nanotechnology, IEEE Transactions on, vol. 10,no. 2, pp. 266–274, 2011.

[14] S. Shin, K. Kim, and S. M. Kang, “Memristor-based fine resolutionprogrammable resistance and its applications,” in Communications,Circuits and Systems, 2009. ICCCAS 2009. International Conferenceon. IEEE, 2009, pp. 948–951.

[15] O. A. Olumodeji and M. Gottardi, “Memristor-based comparatorwith programmable hysteresis,” in Microelectronics and Electronics(PRIME), 2015 11th Conference on Ph. D. Research in. IEEE, 2015,pp. 232–235.