基于双DSP的运动目标智能跟踪系统的设计和实现

摘 要：本文针对视频监控领域中对运动目标的检测与跟踪，设计了一种以双DSP为核心处理器的嵌入式实时控制方案，并阐述了系统的硬、软件结构，以低成本成功实现了集实时视频处理、云台运动控制、摄像机自动调节于一体的智能视频跟踪系统。实践证明，系统工作性能良好。 
     
关键词：双DSP；嵌入式实时系统；检测与跟踪；差分图像 
     
引言 
     
随着DSP芯片集成度、运算速度、数据吞吐率等性能的不断提高，DSP不再局限于传统视频处理、离线信号处理等方面的应用,它已被广泛地应用于许多实时视频处理和传输领域。本文设计了一种以ADSP-BF533为核心处理器，集视频处理、云台运动控制、摄像机自动调节于一体的嵌入式实时控制系统。该系统体积小，灵活性高，易于升级，可应用于无人值守的智能监控系统，如银行，金库，仓库等重地。当发现异常情况出现时，该系统能够自动报警或采取其它相应的措施，从而更有效、可靠地实现了安全防范，同时也在很大程度上减少了监视人员的工作量和疲劳度，大大提高了工作效率。 
    
系统的功能和结构 

     

图1 嵌入式运动目标智能跟踪系统功能图 
    
如图1所示，嵌入式运动目标智能跟踪系统的基本功能为：系统采用高速DSP实现图像信号的实时采集，经过图像预处理模块实现对数字图像的复原、增强，然后分别发送给自动控制模块、运动目标检测模块、运动估计模块等。各功能模块对图像进行处理后，通过现场总线控制网络自动向解码器发出控制指令，驱动对应云台、摄像机作相应动作。当然系统也可以通过手动控制模块接收从监控中心发送的控制数据，直接控制摄像机、云台动作。 
     

 图2 嵌入式运动目标智能跟踪硬件系统结构

如图2所示，嵌入式运动目标智能跟踪硬件系统主要由 CCD 摄像机、高速数字云台、视频 ADC、图像帧存储器、DSP处理控制器、视频合成及DAC、报警模块等部分构成。视频 ADC的作用是通过视频解码芯片将模拟视频信号转换成标准的数字视频信号；帧存储器可以按照一定的时间周期存储图像数据；视频合成及DAC的作用是将视频信号与工作状态字符、报警标记、报警次数等字符叠加起来，同时转换成模拟视频信号，供监视器显示；报警电路的作用是当有活动目标进入视场或进入设定的警戒区域时，通知DSP处理器启动报警装置。其核心DSP处理控制部分由两块DSP芯片组成，一块负责图像的实时采集,运动目标跟踪算法的处理，实现对高速数字云台的驱动控制以及报警发生电路的控制等；另一块负责视频合成和编码输出。 
    
系统的硬件设计和实现 

    
图3 嵌入式运动目标智能跟踪系统硬件设计
     
整个系统的设计如图3所示,下面将从DSP核心处理器、视频处理通道、帧存储器、一体化球型摄像机控制等几个方面进行阐述。 
     
DSP核心处理器 
     
系统采用了ADI公司最新推出的BLACKFIN DSP，主频可以达到750MHz，它是基于ADI公司与Intel公司联合开发的微信号结构(MSA)，外部存储器接口可以和SDRAM、FLASH、异步RAM实现无缝连接。PPI接口可以和视频解码器、编码器实现无缝连接，加强了系统的稳定性。 除通用I/O、实时时钟和定时器外，所有其他的外设都有独立的DMA通道，片内还有一个独立的存储器DMA通道，专用于在DSP的不同存储空间进行数据传输，包括外部的SDRAM和异步存储器。片内总线能以133MHz的速度运行，提供了足够的带宽以保证处理器内核的速度能够与片内和片外外设匹配，特别适合于图像处理。 
    
系统使用ADSP-BF533 (DSP(1))和ADSP-BF531(DSP(2))组成核心处理部分。750MHz的DSP(1)通过PPI接口的DMA通道进行实时图像采集，实现运动目标的跟踪算法，然后通过UART接口对一体化球型摄像机进行控制。同时使用通用I/O口模拟I2C总线，对视频解码芯片SAA7113H和视频编码芯片SAA7185B进行初始化设置和控制。400MHZ的DSP(2)通过PPI接口，将视频合成后的图像采用DMA的方式编码输出。 
    
视频处理通道 
    
如图3所示，模拟视频信号(CVBS)通过SAA7113H芯片进行视频解码，输出标准的ITU 656 YUV 4 : 2 : 2 视频流(8-bit)，然后通过DSP(1)的PPI接口，由其DMA通道0，传送到帧存储器中。DSP(1)处理完的数据经SPORT接口传送到DSP(2)的帧存储器中，由其DMA通道0，通过PPI接口送至SAA7185B，输出标准的模拟视频信号。因为PPI接口可以实现与视频编、解码器的无缝连接，所以简化了视频同步和锁相控制电路的硬件设计，同时还大大加强了系统的可靠性。通过PPI _CONFIG控制寄存器还可以进行数据过滤，选择感兴趣的数据，系统中滤掉了同步控制字符，保留了有效视频数据，节省了帧存储器存储空间。如图4所示，每行中的前288个字节同步控制字符可以被过滤掉，只保留有效视频数据。DSP(1)的PPI接口工作在ITU 656下的输入模式，DSP(2)的PPI接口工作在ITU 656下的输出模式。 
    
帧存储器及系统启动 
    
ADSP-BF53X支持的最高系统时钟频率SCLK为133MHz，所以系统采用MICRON的MT48LC16M16A2(SDRAM PC133 32MB)作为帧存储器，其结构为4Meg×16×4Banks，可以与DSP(1)，DSP(2)的EBIU实现无缝连接。 
    
由于DSP(1)片内没有程序存储器，系统必须从片外引导。本系统采用的是从SPI接口的EEPROM引导方式，所选用的EEPROM是ATMEL的AT25HP512(64KB)。 
    
一体化球型摄像机控制 
    
系统采用的是一体化智能球形摄像机，可实现水平自由度为 360°的连续旋转，垂直自由度为0~90°的旋转，水平、垂直自由度运动速度0.5°~160°/s可控，摄像机的光圈和焦距可控，直接通过RS-485总线对其进行控制。

 
     
图4 PAL制式下ITU-656 YUV 4 : 2 : 2数据流格式描述

     
   
图5 嵌入式运动目标智能跟踪软件设计框图 

     
   
图6 对单目标运动物体的跟踪
    
系统的软件设计
    
系统采用了一种基于差分图像的运动目标检测算法，检测结果是符号化的图像，其中运动目标由其外接矩形表示，通过计算目标的形心坐标与图像中心的偏差来控制云台和摄像机转动，使目标显示在图像的中央，进而达到对运动目标的跟踪。 
    
如图5所示，DSP(1)对波门内的数字图像处理得到一阈值，根据该阈值再从波门内的数字图像中分割出目标象元。然后根据分割出的全部目标象元的位置数据和目标象元的总点数，计算出目标的形心。该形心数据作为下一场波门的跟踪数据，目标的形心相对于视场中心的位置数据作为目标的偏差数据，对一体化球型摄像机进行控制。 
    
实验结果和结论 
    
整个系统使用VISUAL DSP++ 3.5进行开发，用EZ_ICE 通过JTAG接口在开发目标板上进行仿真调试，现已脱机运行。当图像分辨力设定为384×288时，跟踪算法处理速度为10帧/s。当摄像机与跟踪目标的距离>2.5m，目标运动速度不高于1m/s时，能对目标进行有效跟踪。图6是在背景较为简单的情况下，实现对单目标运动物体跟踪的实验图片。系统采用的是双DSP结构，DSP(2)只承担了视频的复合和编码工作，在运算负荷和端口资源还有很大的裕量，下一步工作将在DSP(2)上进行MPEG-4压缩编码和传输。