基于IPP库的MPEG-4视频传输系统设计

随着网络及通信技术的发展，形式多样的嵌入式设备作为继PC机后的信息处理工具正日益渗透到社会生活的各个领域。在IP化和视频化的双重推动下，以嵌入式设备作为视频处理与传输终端在视频监控，视频会议等领域得到越来越广泛的应用。为了进一步提高传输的实时性和图像质量，本文在硬件平台上采用 Intel新一代的XScale处理器PXA270，增强了媒体处理能力，降低了系统功耗。同时，为了最大限度的发挥处理器的性能优势，本文采用 INTEL针对PXA27X系列开发的高性能集成函数库，即IPP库函数作为MPEG-4视频编解码的函数骨架，采用MPEG-4编解码，在LINUX嵌入式操作系统上实现并优化了视频传输系统。

1 系统硬件组成及工作流程

1．1 系统组成

本系统硬件组成如图1所示，采用Intel公司的嵌入式处理器PXA270作为主控CPU，该款处理器的主频率可达520MHz，可以满足系统在编解码条件下的速度要求。其Wireless MMX技术有效提高了处理视频数据的能力，独有的SpeedStep技术使其兼备了高性能和低功耗的特点。根据系统的运算量和系统文件的大小，核心系统 Flash存储器和SDRAM存储器容量分别设计为32M和64M。外设接口方面，通过USB接口连接以OV511作为控制芯片的高性能USB摄像头，提高了传输速率并避免了低带宽条件下的图像跳动现象。通过LCD控制接口连接LCD显示模块，通过系统总线连接10M/100M自适应以太网芯片 LAN91C11。同时，系统还预留了RS232串口供调试使用。

1．2 MPEG-4视频传输系统的工作流程

该系统的主要工作流程如下：

发送端：视频数据经USB摄像头采集进入本系统，由PXA270对原始的YUV420格式的视频数据进行MPEG-4编码，采用IPP库函数进行DCT变换[2]，量化，预测，运动估计及运动补偿，熵编码后，把压缩后的视频数据打成RTP包，经以太网控制模块送入以太网。

接收端：将接收的RTP包还原成MPEG4码流[2]，仍采用IPP库函数由PXA270进行MPEG-4解码，将解码后的视频数据运用FrameBuffer机制送入LCD，由LCD显示模块来回放发送端采集到的视频图像，达到视频传输的目的。
  

图1 视频传输系统硬件组成框图

[!--empirenews.page--]

2 系统的模块分析及基于IPP库的软件实现

本系统由视频采集模块，基于IPP库的MPEG4编解码模块，RTP传输模块和视频回放模块组成，整个系统的软件流程图如图2所示，下面就该图对各个模块进行简要分析。

图2 系统软件流程图

2．1 视频采集模块

视频采集由USB摄像头来实现，采用通用的Video4Linux API 进行编程。Video4Linux是嵌入式LINUX为图像传感器之类的语音图像设备提供接口函数。通过打开/dev/video0 设备文件对摄像头进行操作，得到YUV420格式的视频数据。采集视频数据的过程为：打开设备文件，查询并确认设备性能，对采集窗口，颜色模式，帧状态初始化，采用mmap()内存映射方式实现共享内存，开始采集图像数据，阻塞等待驱动缓冲好一帧完整的图像，循环采集直至程序退出。由于采用了内存映射方式而不是read(),write()等文件操作函数，绕过了内核缓冲区，加速了I/O访问。同时，该模块开辟了两块视频缓冲区，一块用于采集的同时另一块用于发送，显著提高了采集效率。

2．2 基于IPP库的MPEG4编解码

2．2．1 IPP库简介

IPP是Intel基于其系列处理器开发的一套跨平台的集成性能函数库（Integrated Performance Primitives）的缩写[3，5]，它提供了广泛的多媒体功能，包括音视频编解码（如MPEG4，G.723）,图像处理，语音识别及加密机制。 Intel IPP 针对包括PXA27X系列的大量微处理器进行优化，采用跨平台的通用API，提供图像处理、颜色转换、过滤、变换，以及算术、统计与图形运算等各种函数，为软件应用程序提供了一个友好的连接界面，不但节省了开发成本以及研发时间，还使得多媒体应用程序在INTEL处理器上的性能大大改善。

2．2．2 IPP库函数介绍

一般的IPP函数名如下：

ipp<data-domain><name>_<datatype>[<descriptor>](<arguments> ) ;

这里的data-domain所谓的域，指的是该IPP函数所属的功能范围。i（images/video）代表二维图像处理

datatype数据类型的定义是<bit depth>位数加上<bit interpretation>位解释组成。位数有<1|8|16|32|64>，位解释则有<u|s|f>[c]。

这里u是无符号，s是有符号，f是浮点数，c是复数。

descriptor是描述符，描述要操作的数据。

C加数字n表明图像数据有几个颜色频道，1|2|3|4。

I表示操作仅在此数据内存的范围内进行，不需要多余的内存空间。

R表示需要指定ROI即圈选范围。

[!--empirenews.page--]

2．2．3 MPEG-4编解码中的关键IPP库函数

基于IPP库的MPEG-4编解码系统框图如图3所示，下面来具体介绍MPEG4编解码中用到的关键的IPP库函数[1，4]：

DCT变换：

ippiDCT8x8Fwd_Video_8u16s_C1R（const Ipp8u * pSrc,  int srcStep,  Ipp16s * pDst）;

功能描述：将pSrc指向的8X8图像块采样点（空间域）进行前向离散余弦变换，转换到 pDst指向的一组变换系数（变换域）。

量化：

ippiQuantIntra_MPEG4_16s_I (Ipp16s * pSrcDst,  Ipp8u QP,  int blockIndex,  const int * pQMatrix);

功能描述：将输入的DCT系数量化后，重新存储到pSrcDst指向的存储空间，其中QP是量化系数

VLC编码：

ippiEncodeVLCZigzag_Inter_MPEG4_16s1u       对帧间块进行之字型扫描并VLC编码

运动估计和运动补偿：

ippiMCBlock_RoundOff_8u----进行运动补偿并将补偿结果复制到当前块

ippiMotionEstimation_16x16_SEA----完成16X16大小的运动补偿，它不仅覆盖了16X16，还包括了8X8的整像素和半像素搜索。同时，该函数还决定了帧内或帧间的选择

ippiEncodeMV_MPEG4_8u16s----搜索预测的运动向量并对残差进行编码

以上只选取了MPEG4编码端用到的帧内/帧间关键的IPP库函数，而解码端的VLC解码，逆量化以及逆DCT变换是编码的逆过程，对于各个功能模块相对应的IPP库函数在IPP库参考文档中有详细叙述，在此不再赘述。

图3  MPEG-4编解码系统框图

[!--empirenews.page--]

2．3 视频传输模块

在压缩视频流通过IP网络传输之前必须打包。由于TCP协议丢包重传的特性增加了抖动和失真，不符合MPEG-4视频传输对时延的严格要求，本系统采用UDP来传输，但UDP不保证可靠传输，接收端需要通过RTP/RTCP来检测丢包。RTP协议提供了时间戳，序列号来控制实时数据的流放。发送端在数据包里隐蔽的设置了时间标签，接收端依照时间标签按照正确的速率恢复成原始的实时的数据。

2.4 视频回放模块

本系统采用FrameBuffer机制在LCD上实现视频信息的显示。FrameBuffer是一种能够提取图形的硬件设备，是用户进入图形界面很好的接口，这种接口将显示设备抽象为帧缓冲区。用户可以把它看作一块内存，只要将其映射到进程地址空间，就可以直接进行读写操作，而写操作可以立即反应在屏幕上。在应用程序中，首先打开/dev/fb0设备文件，随后用ioctl操作取得屏幕的分辨率和bpp值，从而计算出屏幕缓冲区的大小，并将该缓冲区映射到用户空间，最后就可直接对屏幕缓冲区进行图片显示。由于本系统所采用的LCD只支持RGB格式的视频流，而经MPEG4 解码后的数据为YUV格式的，所以在显示之前还需运用IPP函数ippiYUV420ToRGB565_8u16u_P3C3R进行YUV到RGB格式的转换。

3 结语

本文介绍了视频传输系统各个模块的功能和软件实现，重点介绍了基于IPP的MPEG-4编解码模块。从实际效果来看，在 XScale PXA270中利用IPP库编解码后的编码速率比未用IPP库提高了70%~90%，大大提高了实时性。本文的研究成果可以在视频监控，多媒体会议等很多领域得到更广泛的应用。

本文作者创新点：在基于Intel Xscale构架的PXA270嵌入式设备上，使用IPP为MPEG-4编解码编写的底层API函数对视频传输系统程序结构进行重组并优化，对IPP的语法规则和其中的关键算法给出了解释。经优化后的系统传输效率和图象质量明显提高。

参考文献：
[1]Intel Integrated Performance Primitives on Intel Personal Internet Client Architecture Processors Reference Manual Version 5.0 [S].Intel.com ,2005
[2]求是科技.Visual C++音视频编解码技术及实践[M].人民邮电出版社,2006
[3]洪艳伟，杨斌.嵌入式手持设备及其基于IPP的优化. [J].《微计算机信息》,2007,2-2:23
[4]Iain E.G.Richardson 著 欧阳合 韩军译. H.264和MPEG-4视频压缩[M].国防科技大学出版社,2004
[5]郑灵翔等.嵌入式系统设计与应用开发[M].北京航天航空大学出版社,2006