一种智能视频监控系统的DSP实现

随着社会经济发展，城市交通和基础设施的不断进步，人们对安全的要求不断提高，视频监控系统已经广泛用于小区安全监控、火警监控、流量控制以及军事、银行、商场、机场、地铁等公共场所的安全防范。监控系统是由摄像、传输、控制、显示、记录登记5大部分组成。摄像机通过同轴视频电缆将视频图像传输到控制主机，控制主机再将视频信号分配到各监视器及录像设备，同时可将需要传输的语音信号同步录入到录像机内。 通过控制主机，操作人员可发出指令，对云台的上、下、左、右的动作进行控制及对镜头进行调焦变倍的操作，并可通过控制主机实现在多路摄像机及云台之间的切换。利用特殊的录像处理模式，可对图像进行录入、回放、处理等操作，使录像效果达到最佳。视频监控系统发展了短短二十几年时间，从最早模拟监控到前些年火热数字监控再到现在方兴未艾网络视频监控，发生了翻天覆地变化。在IP技术逐步统一全球今天，我们有必要重新认识视频监控系统发展历史。从技术角度出发，视频监控系统发展划分为第一代模拟视频监控系统（CCTV），到第二代基于“PC+多媒体卡”数字视频监控系统（DVR），到第三代完全基于IP网络视频监控系统（IPVS）。

近年来，视频监控系统平台的设计层出不穷，而少有系统架构设计层面的介绍。国内外较为常见的系统设计，一种是使用PC机作为算法运行的硬件平台，如 Morita等采用的C/S结构或Dias等采用的分布式结构。这种系统的主要缺点是成本高，由于PC对数字图像处理不易优化，智能算法很难达到实时要求。另一种使用专门数字图像处理器构建硬件平台。

在算法研究上，视频监控关键技术包括：背景建立，动目标检测，动目标提取与跟踪，动目标智能分析。其中背景建立和动目标检测是关键技术中的基础，其实现的好坏直接影响监控效果。目前较常见的算法有：帧间差分法，背景差分法，光流法等。数字信号处理（Digital Signal Processing，简称DSP）是一门涉及许多学科而又广泛应用于许多领域的新兴学科。20世纪60年代以来，随着计算机和信息技术的飞速发展，数字信号处理技术应运而生并得到迅速的发展。数字信号处理是一种通过使用数学技巧执行转换或提取信息，来处理现实信号的方法，这些信号由数字序列表示。在过去的二十多年时间里，数字信号处理已经在通信等领域得到极为广泛的应用。德州仪器、Freescale等半导体厂商在这一领域拥有很强的实力。

本文设计的视频监控系统遵循数字化、网络化和智能化的发展趋势，综合考虑对上述不足进行改进，可以使用普通模拟摄像头作为视频源进行本地实时智能监控，也可以使用网络摄像机作为视频源进行远程实时智能监控。传统的视频监视系统是简单的非智能闭路电视（CCTV）系统，其缺点十分明显。这样的系统或者需要安保人员实时监视画面以捕捉关键事件，或者需要在事后对视频记录进行回放并进行人工分析。耗时耗力，成本高而效率低。近几年，DSP在智能视频监控系统方面的应用不断完善，正在逐渐取代传统的模拟非智能系统。

系统设计

系统硬件

本系统的硬件由多块自行开发的数字信号处理（DSP）板卡组成，主要提供对本地和远程视频监控的硬件支持。每块DSP板卡包括：基于 TMS320DM642（TI多媒体数字信号处理DSP芯片，下文简称DM642）核心处理模块，外设存储器模块，总线控制模块，模拟视频输入模块， PCI模块。

系统软件

·DSP端软件

DSP板卡运行多通道的智能监控算法，算法以库形式提供。软件构架则以算法库为核心、DSP/BIOS[6]和RF5[7]为框架进行构建。 DSP/BIOS是TI公司提出的高度优化、可裁剪的DSP实时操作系统内核，提供了抢占式的线程调度，内存管理，外设管理和可视化的调试工具等特性。RF5是一种DSP软件开发的起步代码参考框架，它以DSP/BIOS为基础，利用其中的数据处理元素和数据通信元素方便快捷地完成DSP软件的设计与开发RF5是RF的最新版本，其区别于RF1和RF3的显着特点是其支持动态对象创建和支持线程（任务）挂起功能，因此适合系统较复杂的应用场合。RF5 主要实现三个功能，存储管理，线程模型和通道封装，对于不同的应用，我们只需在这三个元素上做修改，而对于整个应用程序，不用从头设计，这样大大简化了开发者的开发难度，缩短了开发时间

第五步动态创建了1个算法处理线程（ProcessTsk）、2个PCI通信线程（SendTsk，ReceiveTsk）以及一个中断服务子程序（PCI_ISR）：ProcessTsk根据客户端为每个通道设定的监控规则，对通道中的图像进行算法分析，若有目标违规，则记录违规场景，产生报警信息，否则送出原始图像。SendTsk负责把ProcessTsk产生的报警信息或者图像通过PCI传输到PC端；ReceiveTsk负责接收来自本地板卡的模拟摄像头和来自PC端的网络摄像头图像，以及PC端来的信息。并传递给ProcessTsk;PCI_ISR负责监听来自PC端的请求，根据不同请求发送不同的旗语，控制线程间的运行。

主机服务器准备传输控制命令或者图像的时候，向DSP发送中断请求。PCI_ISR将响应这些请求，根据主机服务器的不同信息向其他线程发送不同的控制旗语：如果是PC端接收一帧图像完毕，则向SendTsk 发旗语PCI_READ_OK，表示可以接收下一帧图像；如果是断开、连接通道请求，则向ReceiveTsk发送旗语PCI_WRITE_OK，表示可以接收信息。ReceiveTsk接收网络摄像机或者模拟摄像机图像和控制命令。如果收到图像，将其存储在SDRAM的一个缓冲区中，以待进行算法分析； 如果收到控制命令，将其存储在由PC、DSP共同维护的一个缓冲区中。然后发起SCOM通信，把信息传送到ProcessTsk维护的SCOM中。 SCOM是RF5框架中的通信模块，提供了队列和旗语的双重功能。ProcessTsk收到信息后，会使用视频缓冲区和控制命令缓冲区中的数据作为算法参数进行计算。

·PC端软件

在服务器主机端，主要实现三个功能：（1）接收来自网络摄像头的视频流并解码，对应模块为网络摄像机模块；（2）构建用户界面，即客户端模块，记录用户算法设置、控制命令等，用户可以根据自己的需求在规则设置界面中对特定的通道设置算法参数和控制命令等；（3）将图像数据和算法参数、控制命令传给 DSP端，对应模块为后台服务模块。

算法设计与DSP实现

基于DM642的智能视频监控系统的核心是智能视频监控算法，本算法可以实现对监控目标物越线产生报警，对贵重物体消失产生报警，对可疑物体产生报警。算法原理：首先利用改进的帧间差分法来初始化背景模型，得到自适应背景图像;然后把当前图像和背景图像做差分运算；再使用动态阈值法对差值图像二值化，引入形态学噪声滤波器来消除噪声影响;进而使用快速二值图像连通域标记算法提取动目标；最后与用户预先设置的警戒规则进行比较，算法流程如图4所示。

自适应背景模型建立

在运动目标检测过程中背景模型建立的准确与否直接影响到目标检测结果的好坏。由于背景是个渐变的过程，所以采用了自适应背景更新方法：在视频图像序列中先假设第一帧图像为参考图像I0，在随后的图像序列中找两帧图像I1和I2，要求运动部分在I0，I1以及I2中所占区域没有重叠，将三帧图像的灰度值平均得到图像I：

将图像I与I0进行比较，如果差别较大（差值超出某一阈值T0），则为目标区域，否则为背景区域；在目标区域，进一步判断I1与I2的灰度值，如差别不大（差值小于某一阈值T1），则可用I1或I2中对应区域作为背景对应区域，否则用I0中对应区域作为背景对应区域，经过这一替代，就可以得到一个不包含运动目标的背景图像Ib。

差值图像建立及二值化

自适应背景BL产生后，每一帧视频图像将与BL差分，并得到差分后的差值图像，进而进行二值化。在这一过程中，阈值选取的优劣是二值化结果好坏的关键。本文采用动态阈值法进行二值化处理。具体过程如下。

设差值图像灰度值取值分布范围为1~K，像素总数为N，灰度为i的像素数为ni，则每个图像灰度值的取值概率为：pi=ni/N。设以h为阈值将图像分割为两个区域A、B，灰度为1到h的像素和灰度为h+1到K的像素分别构成区域A和B。

以类间方差作为衡量分离性能的准则，极大化的过程就是自动取定阈值的过程

换句话说，类间方差最大的那个图像灰度值就是当前差值图像的最佳阈值。

运动目标检测

动态阈值确定以后，可根据此阈值对差值图像进行二值化，得到二值图像。但是在背景和目标中还会存在一定量的噪声斑点，再经过形态学运算处理后的图像更有利于目标提取，滤波后的二值图像通常包含多个连通区域。本文采用改进快速标记算法对各连通域进行检测提取。

根据用户设置的算法规则判断报警

得到动目标的外接矩形以后，对每一个目标物进行跟踪监控就具体化为对每一个矩形框的跟踪监控。这一过程中，用户通过PC端的客户端模块中的用户界面来选择算法规则，实现对人或车的监控。用户可以在主机服务器界面中设定规则，包括对场景设置虚拟警戒线、警戒区域和违规行为（比如贵重物体消失报警，可疑物的出现报警，目标物的越线报警）。

结语

本文实现了一个支持多板卡，多通道以及网络监控的智能视频监控系统。提供了一个完整的包括DSP硬件、软件框架、算法及实现的解决方案，较好的解决了背景更新，动目标提取等监控系统中的重要技术环节，提出并实现了对可疑物的报警、对贵重物体的报警等实用算法。