基于嵌入式Linux与S3C2410平台的视频采集

摘要：针对数字网络视频监控系统的需求，设计一种基于MPEG-4网络视频服务器。使用基于MPG440的MPEG-4实时视频压缩卡压缩采集到的音视频数据，利用循环队列实现音视频数据的压缩，同时运用多线程技术以及传输机制解决网络数据的传输，从而有效克制了画面不清晰、音视频不同步、马赛克等现象，保证客户监看时音视频实时性和同步性。经过实验证明，该方案经济高效，可应用在多种需要音视频监控的场合。
关键词：嵌入式系统；Linux；S3C2410；网络视频监控

    随着计算机技术和网络技术的发展，在单片机领域也发生着日新月异的改变，如高速信号处理器、SoC片上系统等新技术、新应用如雨后春笋般蓬勃发展起来。在现实生活中经常会遇到这样一些问题：比如如何对机房的温湿度进行远程监控；如何一手掌握家里的安全状况，这都需要应用一种耗电量小、24小时不间断工作，体积小的远程视频监控系统。
    针对网络视频监控设备的实际应用需求，结合图像采集压缩编码、嵌入式系统和网络技术等几方面的新技术，设计了一套嵌入式网络视频监控系统，用以实现视频数据的采集、压缩与网络传输。该系统基于S3C2410的ARM920T芯片和嵌入式Linux操作系统，采用USB摄像头捕捉视频，经MPG440芯片压缩编码，系统直接与网络相连，用户使用标准的网络浏览器和流媒体播放程序即可查看远程视频影像。

1 系统总体设计
    系统总体设计包括硬件设计和软件设计2部分。硬件设计模块主要包括微控制器模块、压缩编码模块、网络接口模块3部分。微控制器模块主要由主控芯片、 DATAFLASH和SDRAM组成。其中，主控芯片是整个控制系统的核心，它负责整个系统的调度工作。DATAFLASH中固化了嵌入式Linux内核及其文件系统、应用软件和系统配置文件。SDRAM作为内存供系统运行使用。压缩编码模块由视频数据采集芯片、MPEG-4压缩编码芯片、SDRAM组成，负责将视频流转化为MPEG-4码流。网络接口模块主要是配合主控芯片传送MPEG-4码流。当系统启动时，微控制器将Linux内核调入SDRAM 中，系统从SDRAM中启动。系统启动后，微控制器控制MPEG-4编码模块进行工作。
    软件设计部分主要包括嵌入式Linux移植、视频采集与MPEG-4压缩编码模块、JRTPLIB网络传输模块和MPEG-4解码程序4部分。嵌入式 Lin-ux系统存放到由S3C2410控制的DATAFLASH中，它负责整个系统软件的调度工作。MPEG-4压缩编码模块主要负责将采集到的视频流压缩为MPEG-4数据流。JRTPLIB网络传输模块主要负责MPEG-4视频流传输与控制的相关设置。MPEG-4解码程序主要负责对通过网络得到的 MPEG-4数据流进行解码工作。

2 硬件系统设计
    系统的硬件平台采用Samsung公司的处理器S3C2410。该处理器内部集成了ARM公司ARM920T处理器核的32位微控制器，资源丰富：带独立的16 kB指令Cache和16 kB数据Cache，还有LCD控制器、RAM控制器、NAND闪存控制器、3路UART、4路DMA、4路带PWM的Timer、并行I／O口、8路 10位ADC、TouchScreen接口、I2C接口、I2S接口、2个USB接口控制器、2路SPI，主频最高可达203 MHz。在处理器丰富资源的基础上，还进行了相关的配置和扩展，平台配置了16 MB，16位的FLASH和64 MB，32位的SDRAM。通过以太网控制器芯片DM9000扩展了一个网口，另外引出了一个HOST、USB接口，通过在USB接口上外接一个带USB 接口的摄像头。硬件系统结构如图1所示。



3 软件系统设计
    Linux具有内核小，效率高，源代码开放，内核直接提供网络支持等优点。但嵌入式系统的硬件资源毕竟有限，因此不能直接把Linux作为操作系统，要针对具体的应用通过配置内核、裁减shell和嵌入式C库对系统进行定制，使整个系统能够存放到容量较小的FLASH中。Linux的动态模块加载，使 Linux的裁减极为方便，高度模块化的部件使添加非常容易。嵌入式Linux系统主要由4个部分组成：引导内核启动的文件
(bootloader)、Linux内核文件(kernel)、虚拟磁盘文件(ramdisk)、用户空间文件(user)。它们分别被放在 DATAFLASH内的4个分区模块中。根据不同模块的具体功能采用不同的文件系统，如：bootloader，kernel，ramdisk等，移植完成后不需要动态改变，使用较节省空间的ROM-FS只读文件系统；user模块内放置一些可以动态更新的配置文件等，需要进行较多的读写操作，所以使用支持动态擦写保存的JFFS2文件系统。基于Linux的上述优点，实现的平台使用操作系统μclinux。通常嵌入式系统软件的开发采用交叉编译调试方式。宿主机通常为Intel处理器，而目标板如图1所示为S3C2410，因此程序需要使用针对处理器特点的编译器才能生成在相应平台上可运行的代码。对于嵌入式Linux，宿主机PC上应安装Linux系统，之后在宿主机上建立交叉编译调试的开发环境。采用移植性很强的C语言在宿主机上编写视频采集程序，再利用交叉编译调试工具编译链接生成可执行代码，最后向目标平台移植。
    Linux移植技术已经成熟，在此不做详细阐述，主要介绍USB摄像头驱动、基于V4L设计的视频采集模块和JRTPLIB网络传输模块的程序设计。
3．1 USB摄像头驱动
    搭建好嵌入式Linux的开发环境后，第一步工作就是USB摄像头的安装与驱动。
    在Linux下，设备驱动程序可以看成是Linux内核与外部设备之间的接口。设备驱动程序向应用程序屏蔽了硬件实现的细节，使得应用程序可以像操作普通文件一样来操作外部设备，可以使用并操作文件中相同的、标准的系统调用接口函数来完成对硬件设备的打开、关闭、读／写和I／O控制操作，而驱动程序的主要任务也就是要实现这些系统的调用函数。
    Video4Linux(V4L)是Linux中关于视频设备的内核驱动，它是针对视频设备应用程序编程提供的一系列接口函数。对于USB口摄像头，其驱动程序中需要提供基本的I／O操作接口函数open，read，write，close来实现。当应用程序对设备文件进行系统调用操作时，Linux内核将通过file-operations结构访问驱动程序提供的函数，在系统平台上对USB口数码摄像头进行驱动，首先把USB控制器驱动模块静态编译进内核，使平台中支持USB接口，再在需要使用摄像头采集时，使用insmode动态加载其驱动模块，这样摄像头就可正常工作。
    确定USB摄像头被正常驱动后，下一步就是使用Video4Linux提供的API函数集来编写视频采集程序。
3．2 基于V4L设计的视频采集模块
    在Linux下，所有外设都被看成是一种特殊的文件，称为设备文件。系统调用的是内核与应用程序之间的接口，而设备驱动程序则是内核与外设之间的接口。他完成设备的初始化和释放，对设备文件的各种操作和中断处理等功能，为应用程序屏蔽了外设硬件的细节，使应用程序可以像普通文件一样对外设进行操作。 Linux下的视频采集过程如图2所示。


    Linux系统中的视频子系统Video4Linux为视频应用程序提供了一套统一的API，视频应用程序通过标准的系统调用即可操作各种不同的视频捕获设备。Video4Linux向虚拟文件系统注册视频设备文件，应用程序通过操作视频设备文件实现对视频设备的访问。
    在此主要针对设备文件／dev／video进行视频捕捉方面的程序设计。
    其中用到的主要函数有：
    Camera_open()：用来开启视频设备文件，使用前需要首先声明一个video_device类型的设备文件。
    Camera_get_capability()：通过调用ioctl()函数取得设备文件的相关信息，并存放到video_capability结构中。
    Camera_get_picture()：通过调用ioctl()函数取得图像的相关信息，并且存放到video_picture结构中。
    Camera_close()：用来关闭设备文件。
    Camera_grab_image()：用来抓取图像，采用mmap方式，直接将设备文件／dev／video0映射到内存，加速文件I／O操作，还可以使多个线程共享数据。
    剩下的还有设备初始化、参数设备等相关函数，这里不再详述。
3．3 视频压缩编码模块
    获取图像数据后，可以直接输出到FrameBuffer进行显示，由于该系统要将采集到的视频影响通过网络传输出去，所以在传输之前要对原始的图像数据进行压缩编码，在此选用映佳公司的MPG440芯片来实现MPEG-4视频编解码方案。与其他标准相比，MPEG-4压缩比更高，节省存储空间，图像质量更好，特别适合在低带宽条件下传输视频，并能保持图像的质量。对视频流进行压缩编码以后，接下来就要实现网络传输部分的功能。
3．4 JRTPLIB网络传输模块
    流媒体指的是在网络中使用流技术传输的连续时基媒体，RTP是目前解决流媒体实时传输问题的最好办法，JRTPLIB是一个面向对象的RTP库，他完全遵循RFCl889设计，下面讲述如何在Linux平台上运用RTP协议进行实时流媒体编程。
3．4．1 初始化
    在使用JRTPLIB进行实时流媒体数据传输之前，首先应该生成RTPSession类的一个实例来表示此次RTP会话，然后调用 Create()方法来对其进行初始化操作。RTPSession类的Create()方法只有一个参数，用来指明此次RTP会话所采用的端口号。
3．4．2 数据发送
    当RTP会话成功建立起来之后，接下来就可以开始进行流媒体数据的实时传输了。首先需要设置好数据发送的目标地址，RTP协议允许同一会话存在多个目标地址，这可以通过调用RTPSession类的AddDestination()、DeleteDestination()和 ClearDestinations()方法来完成。目标地址全部指定之后，接着就可以调用RTPSession类的SendPacket()方法，向所有的目标地址发送流媒体数据。
3．4．3 数据接收
    对于流媒体数据接收端，首先需要调用PollData()方法来接收发送过来的RTP或者RTCP数据报。由于同一个RTP会话中允许有多个参与者(源)，因此既可以通过调用GotoFirstSource()和GotoNextSource()方法来遍历所有的源，也可以通过调用 GotoFisstSourceWithDat()和Got-oNextSourceWithData()方法来遍历那些携带有数据的源。在从RTP会话中检测出有效的数据源之后，接下去就可以调用RTPSession类的Get-NextPacket()方法从中抽取RTP数据报，当接收到的RTP数据报处理完之后，要及时释放。
    JRTPLIB为RTP数据报定义了3种接收模块，通过调用RTPSession类的SetReeeiveMode()方法可以设置下列这些接收模式：
    RECEIVEMODE_ALL：缺省的接收模式，所有到达的RTP数据报都将被接受；
    RECEIVEMODE_IGNORESOME：除了某些特定的发送者之外，所有到达的RTP数据报都将被接受，而被拒绝的发送者列表可以通过调用 AddTo-IgnoreList()，DeleteFromlgnoreList()和ClearIgnoreList()方法进行设置；
    RECEIVEMODE_ACCEPTSOME：除了某些特定的发送者之外，所有到达的RTP数据报都将被拒绝，而被接受的发送者列表可以通过调用 AddTo-AcceptList()，DeleteFromAcceptList和ClearAcceptList()方法来进行设置。
3．4．4 控制信息
    JRTPLIB是一个高度封装后的RTP库，只要PollData()或SendPacket()方法被成功调用，JRTPLIB就能够自动对达到 RTCP数据报进行处理，并且还会在需要的时候发送RTCP数据报，从而能够确保整个RTP会话过程的正确性。在系统中，使用 RTPSessionJRTPLIB类库提供的方法来实现底层的RTP／RTCP操作，并且把他封装在CrtpTransmitter类中，该类从 MediaSink类继承而来，接收到相应的媒体帧数据，使用RTPSession类库的操作把数据发送到网络上。

4 结语
    因为系统是以S3C2410平台和Linux操作系统为基础，利用Video4Linux设计采集程序，使用MPEG-4压缩编码，通过实时流媒体传输技术实现网络传输的，所以软硬件成本低廉，体积小巧，整个系统具有稳定可靠、安装简便等特点，而且监控距离可随网络延伸不断加长，具有良好的发展应用前景。可扩展应用在工业控制、视频会议系统、可视电话、远程监控系统等诸多领域。