基于多DSP和FPGA的实时双模视频跟踪装置设计

1、引言

　　随着现代高速处理器的迅猛发展，图像处理技术也日益成熟。其中，移动目标的视频检测与跟踪是图像处理、分析应用的一个重要领域，是当前相关领域的研究前沿。移动目标视频检测与跟踪技术，在机器人视觉、交通监测、可视预警、机器导航等民用领域有着广泛的应用，同时在火力拦截、导弹电视和红外视频制导等军用方面也发挥着重要作用。基于二维转台以DSP和FPGA为核心器件构成的视频识别和跟踪装置，可工作于电视图像或红外两个波段，实现图像跟踪各项功能。本文提出的跟踪算法与设计的跟踪装置可在一定程度上解决视频跟踪精度低、处理速度慢的问题，同时本视频跟踪装置也可作为进一步研究图像处理与跟踪控制的平台。

　　2、视频跟踪装置的硬件设计

　　图像处理最主要的是实时性、可靠性和精确度。针对图像处理速度慢的问题，考虑从硬件和和软件两方面解决：一是选择高速的DSP和FPGA为核心器件；二是从平衡图像处理的实时性和效果中选择最优的图像处理算法。针对图像跟踪可靠性问题，采用双模式复合制导，由处理器根据信号的置信度来选择跟踪模式。针对图像形心跟踪算法的精度问题，采取基于去图像阴影的图像跟踪算法。

　　2.1 视频跟踪装置的图像信号处理模块硬件组成

　　为达到实时处理图像信号信息，我们选择3片高速DSP作为核心处理器。其中用作信息融合的是TMS320C6416，在跟踪模块中，使用了两片相对价格低廉一些的TMS320C6201实现并行图像跟踪算法。配合DSP工作的外围逻辑电路，我们采用xlinix公司的XCV400E型FPGA，同时实现部分的图像预处理功能。

　　本视频跟踪装置的图像信号处理模块主要硬件构成如图1所示：以电视图像波段为例，图像采集模块的传感器是面阵CCD摄像机，用来采集视频图像信息。A/D转换将拍摄到的模拟图像信号转为8位数字信号送FPGA处理，同步信号接受摄像机的行同步和场同步信号也送入FPGA。一部分处理的结果直接经D/A转换器送监视器显示。SDRAM数据存储区存储背景图像数据。一路在FPGA进行背景差分、4×4滑动平均、去阴影后形成的移动目标信号滤波后送到其中一块TMS320C6201执行基于分割的改进型形心跟踪算法，另一路则经过滤波后送入另一片TMS320C6201执行相关跟踪算法，然后由决策融合模块的TMS320C6416根据两路信号的置信度来选择跟踪模式，达到并行双模式图像复合跟踪。最后将目标位置信号进行转化后输送到运动控制器控制二维转台对移动目标进行实时跟踪。 [!--empirenews.page--]

　　2.2视频跟踪装置运动控制模块的硬件组成

　　运动控制模块硬件由GPT转台构成。GPT系列转台为模拟火炮或雷达跟踪系统的旋转运动系统，它包含电控箱、两维数控转台本体及运动控制器三大部分。转台本体主要由机械结构件（含PAN和TILT）、驱动用交流伺服电机（两套）、谐波减速器、斜齿轮、限位开关等部分组成。电控箱内安装有交流伺服驱动器、I/O接口板、开关电源、开关、指示灯和电气元件等主要部件。运动控制器主要由GT-400-SV运动控制卡、GM-400-SV运动控制卡用户接口软件等部分组成。作为机电控制系统的核心组成部分，GPT转台可用作监控设备的基础运动平台，又可作为研制火箭、导弹、鱼雷和卫星等高科技尖端武器的仿真和试验平台。该系统可实现：定位精度：±0.0069°；重复精度：±0.00056°；速度：0.01～90°/sec；加速度：90°/sec2；行程：Pan方向为±176°；Tilt方向为-15°～+50°；负载：30kg。

　　3、视频跟踪装置算法的分析

　　按照处理顺序，我们将整个过程分解为图2所示。图像采集模块：对视频图像进行A/D转换，形成原始的256级灰度图像，作为待处理的图像信息。背景差分模块：重建背景，并完成与当前帧的差分。在背景重建时采用基于最小二乘法的时域递推公式来完成，这个方法只需要一帧图像的存储，而且可以用递推实现。去噪声模块:做应用邻域平均法实现图像平滑滤波，以及采用颜色滤波法去除阴影等工作。以上算法都是针对FPGA的特点提出的，将FPGA设计成专用运算器并实现算法。

　　形心跟踪模块和相关跟踪模块分别使用的形心投影方法和二维最小绝对差累加和算法计算目标的位置，融合决策模块实现置信度选择，同时对目标信号进行拟合和轨迹外推，实现目标在偶然丢失下的预测跟踪，以及深度丢失下的跟踪状态转换和搜索状态下控制二维转台对视场的慢速扫搜。这部分针对DSP的特点，采用C语言编程实现。

　　3.1主要算法特点分析

　　（1）背景差分法算法

　　背景差分是利用当前图像与背景图像差分来检测出运动区域的一种技术，一般能提供最完全的特征数据，但对于动态场景的变化，如光照等事件的干扰特别敏感。考虑到摄像机移动缓慢，背景图像变化比较迟缓，而运动对象相对于背景变化较快，这样相对于变化较慢的背景图像来说，可把运动对象看作是一个对背景图像的随机扰动。针对本装置的设计要求，我们应用Kalman滤波器在零均值白噪声的退化公式即渐消记忆递归最小二乘法，来更新和重建背景图像，得到时域渐消递归最小二乘法的递归式：

　　（2）颜色滤波去阴影算法

　　如果图像中具有运动阴影和分割碎块，分割所得的图像往往与实际目标不符，产生欠分割或过分割的现象。由于阴影象素的灰度值在一个局部领域中变化不是很大，所以颜色滤波主要是构造一个包含阴影的模板，再用这个模板与差分结果做逻辑与的操作，从而检出阴影。本算法比较简单，执行速度快，处理中不需要区分阴影和半阴影，而且可以将移动阴影和背景中的阴影都检出来，只是模板中的参数要根据现实情况和经验来定。由于静止物体的阴影也是不动的，所以静止目标可以归入背景中。由公式（2）可检测出动目标。


　　（3）形心跟踪算法

　　形心跟踪是将整个跟踪波门内的图像二值化，用求目标形心的办法获得目标位置参量。由于形心值是相对于目标面积归一化的值，因此形心值不受目标面积、形状以及灰度分布细节的限制。同时，形心跟踪的计算颇为简便。但是，形心跟踪器受目标的剧烈运动或目标被遮挡的影响较为严重，瞄准点漂移是远距离跟踪系统的主要误差之一。这也是我们采用目标轨迹拟合算法来外推运动目标位置，并与相关跟踪法并行工作的原因。由于形心算法比较普及，本跟踪装置直接采用了改进的形心跟踪算法，用目标峰值自适应检测算法使系统的计算可靠性和实时性达到最佳结合值。

　　（4）相关跟踪算法

　　相关跟踪是对目标图像和输入图像进行相关运算，通过对搜索区域每次运算结果进行处理获取相关峰值，从而确定目标在输入图像的位置。在图像目标背景比较复杂以及背景与目标无明显灰度差的场合，相关跟踪具有较好的抗干扰能力，可以应付一定的形变和灰度畸变，能对复杂场景中的指定目标进行稳定跟踪，并对目标交叉遮挡有较好的记忆效果，因此我们采用基于二维最小绝对差累加和算法的相关匹配算法进行图像特征识别，相似性度量为：

[!--empirenews.page--]
　　（5）双模式组合算法[6] 

          表1 两种模式优缺点比较

　　如表1所示，由于形心跟踪和相关跟踪各有优缺点，具有较大的互补性[7] 。采用形心跟踪算法的DSP和相关匹配跟踪算法的DSP同时工作，按照各自的图像分割方法分割出目标和背景，抽取目标的特征，输出目标的跟踪信息。最后在主控的TMS320c6416进行检查，把相关匹配跟踪模式中采用相关峰值的相关度函数构造的目标位置置信度和形心跟踪模式的置信度进行置信度判决，从而决定选择跟踪控制信号，同时对不适当的跟踪模块进行重新装定。

　　（6）目标暂时丢失下目标轨迹外推算法

　　在跟踪目标的过程中，目标在视场中可能会被短时遮挡而丢失；另外当目标在视场中停留，则目标可能融入背景，也会出现目标丢失的现象。针对这两种情况，当目标短时遮挡，根据存储记忆以前各帧和本帧的目标信息，采用微分线性拟合外推方法预测下一时刻目标的位置。而当目标在视场停留时，首先按目标被遮挡处理，当外推有限步，或是外推到接近边界时目标仍未出现时，则确定该目标在视场停留，标记停留位置，当目标再次出现时继续完成跟踪。

　　4、系统工作状态分析

　　为实现使自动有序的跟踪，我们确定系统各个跟踪状态和各状态之间的转换条件。

　　本系统跟踪状态有四种：

　　S0 搜索状态 发生在系统初始工作或目标完全丢失阶段。

　　S1 捕获状态 系统处于发现目标状态。

　　S2 正常跟踪状态 系统处于对目标的正常跟踪中。

　　S3 预测跟踪 目标偶尔丢失时，系统通过自学习对当前目标进行预测跟踪，并试图再捕获目标。

　　本系统转换条件有三种：

　　C1目标截获。

　　C2目标偶然丢失，指目标瞬间丢失，其运动仍具有可预测性。

　　C3目标深度丢失，指目标丢失一段时间，其运动不可预测

　　系统状态转换情况如图3所示。在视频跟踪装置启动并初始化后，进入搜索状态S0，系统按照一定的扫搜规律进行搜索；当形心跟踪模块发现移动目标，则进入捕获状态S1；由相关跟踪模块对目标进行识别，确认后进入正常跟踪状态S2；当目标偶尔丢失时，系统通过自学习对当前目标进行预测跟踪，并试图再捕获目标，进入预测跟踪状态S3；如果目标完全丢失，则改变搜索策略，重新再搜索，以便有可能再次捕获目标。

　　5、结论

　　本视频跟踪装置在设计上能完成对移动目标的检测和跟踪，初步实验结果表明采用基于DSP和FPGA的硬件实现算法使系统的实时性能得到很大提高。双模式的图像跟踪算法使系统适合多种背景下的移动目标跟踪，自适应能力强，抗干扰性能好，具有锁定目标短暂丢失后的再次捕获能力，提高了跟踪的可信度。但本设计拟在下面两个方面作进一步的研究。一是考虑本装置的军事应用背景，需要目标，尤其是远方目标有相对较高的速度才能触发系统捕获,因此没有考虑摄像头自身跟踪时的运动补偿[8]。否则，必须加入摄像机运动估计和补偿；二是对移动目标的识别能力还需加强，在设定特定跟踪目标上，尤其是跟踪到多个移动目标时，不具备区分的能力，需要改进到能识别设定中的跟踪目标并完成对设定目标的跟踪。