基于IPP库的MPEG-4视频传输系统设计
扫描二维码
随时随地手机看文章
随着网络及通信技术的发展,形式多样的嵌入式设备作为继PC机后的信息处理工具正日益渗透到社会生活的各个领域。在IP化和视频化的双重推动下,以嵌入式设备作为视频处理与传输终端在视频监控,视频会议等领域得到越来越广泛的应用。为了进一步提高传输的实时性和图像质量,本文在硬件平台上采用 Intel新一代的XScale处理器PXA270,增强了媒体处理能力,降低了系统功耗。同时,为了最大限度的发挥处理器的性能优势,本文采用 INTEL针对PXA27X系列开发的高性能集成函数库,即IPP库函数作为MPEG-4视频编解码的函数骨架,采用MPEG-4编解码,在LINUX嵌入式操作系统上实现并优化了视频传输系统。
1 系统硬件组成及工作流程
1.1 系统组成
本系统硬件组成如图1所示,采用Intel公司的嵌入式处理器PXA270作为主控CPU,该款处理器的主频率可达520MHz,可以满足系统在编解码条件下的速度要求。其Wireless MMX技术有效提高了处理视频数据的能力,独有的SpeedStep技术使其兼备了高性能和低功耗的特点。根据系统的运算量和系统文件的大小,核心系统 Flash存储器和SDRAM存储器容量分别设计为32M和64M。外设接口方面,通过USB接口连接以OV511作为控制芯片的高性能USB摄像头,提高了传输速率并避免了低带宽条件下的图像跳动现象。通过LCD控制接口连接LCD显示模块,通过系统总线连接10M/100M自适应以太网芯片 LAN91C11。同时,系统还预留了RS232串口供调试使用。
1.2 MPEG-4视频传输系统的工作流程
该系统的主要工作流程如下:
发送端:视频数据经USB摄像头采集进入本系统,由PXA270对原始的YUV420格式的视频数据进行MPEG-4编码,采用IPP库函数进行DCT变换[2],量化,预测,运动估计及运动补偿,熵编码后,把压缩后的视频数据打成RTP包,经以太网控制模块送入以太网。
接收端:将接收的RTP包还原成MPEG4码流[2],仍采用IPP库函数由PXA270进行MPEG-4解码,将解码后的视频数据运用FrameBuffer机制送入LCD,由LCD显示模块来回放发送端采集到的视频图像,达到视频传输的目的。
图1 视频传输系统硬件组成框图
2 系统的模块分析及基于IPP库的软件实现
本系统由视频采集模块,基于IPP库的MPEG4编解码模块,RTP传输模块和视频回放模块组成,整个系统的软件流程图如图2所示,下面就该图对各个模块进行简要分析。
图2 系统软件流程图
2.1 视频采集模块
视频采集由USB摄像头来实现,采用通用的Video4Linux API 进行编程。Video4Linux是嵌入式LINUX为图像传感器之类的语音图像设备提供接口函数。通过打开/dev/video0 设备文件对摄像头进行操作,得到YUV420格式的视频数据。采集视频数据的过程为:打开设备文件,查询并确认设备性能,对采集窗口,颜色模式,帧状态初始化,采用mmap()内存映射方式实现共享内存,开始采集图像数据,阻塞等待驱动缓冲好一帧完整的图像,循环采集直至程序退出。由于采用了内存映射方式而不是read(),write()等文件操作函数,绕过了内核缓冲区,加速了I/O访问。同时,该模块开辟了两块视频缓冲区,一块用于采集的同时另一块用于发送,显著提高了采集效率。
2.2 基于IPP库的MPEG4编解码
2.2.1 IPP库简介
IPP是Intel基于其系列处理器开发的一套跨平台的集成性能函数库(Integrated Performance Primitives)的缩写[3,5],它提供了广泛的多媒体功能,包括音视频编解码(如MPEG4,G.723),图像处理,语音识别及加密机制。 Intel IPP 针对包括PXA27X系列的大量微处理器进行优化,采用跨平台的通用API,提供图像处理、颜色转换、过滤、变换,以及算术、统计与图形运算等各种函数,为软件应用程序提供了一个友好的连接界面,不但节省了开发成本以及研发时间,还使得多媒体应用程序在INTEL处理器上的性能大大改善。
2.2.2 IPP库函数介绍
一般的IPP函数名如下:
ipp<data-domain><name>_<datatype>[<descriptor>](<arguments> ) ;
这里的data-domain所谓的域,指的是该IPP函数所属的功能范围。i(images/video)代表二维图像处理
datatype数据类型的定义是<bit depth>位数加上<bit interpretation>位解释组成。位数有<1|8|16|32|64>,位解释则有<u|s|f>[c]。
这里u是无符号,s是有符号,f是浮点数,c是复数。
descriptor是描述符,描述要操作的数据。
C加数字n表明图像数据有几个颜色频道,1|2|3|4。
I表示操作仅在此数据内存的范围内进行,不需要多余的内存空间。
R表示需要指定ROI即圈选范围。
2.2.3 MPEG-4编解码中的关键IPP库函数
基于IPP库的MPEG-4编解码系统框图如图3所示,下面来具体介绍MPEG4编解码中用到的关键的IPP库函数[1,4]:
DCT变换:
ippiDCT8x8Fwd_Video_8u16s_C1R(const Ipp8u * pSrc, int srcStep, Ipp16s * pDst);
功能描述:将pSrc指向的8X8图像块采样点(空间域)进行前向离散余弦变换,转换到 pDst指向的一组变换系数(变换域)。
量化:
ippiQuantIntra_MPEG4_16s_I (Ipp16s * pSrcDst, Ipp8u QP, int blockIndex, const int * pQMatrix);
功能描述:将输入的DCT系数量化后,重新存储到pSrcDst指向的存储空间,其中QP是量化系数
VLC编码:
ippiEncodeVLCZigzag_Inter_MPEG4_16s1u 对帧间块进行之字型扫描并VLC编码
运动估计和运动补偿:
ippiMCBlock_RoundOff_8u----进行运动补偿并将补偿结果复制到当前块
ippiMotionEstimation_16x16_SEA----完成16X16大小的运动补偿,它不仅覆盖了16X16,还包括了8X8的整像素和半像素搜索。同时,该函数还决定了帧内或帧间的选择
ippiEncodeMV_MPEG4_8u16s----搜索预测的运动向量并对残差进行编码
以上只选取了MPEG4编码端用到的帧内/帧间关键的IPP库函数,而解码端的VLC解码,逆量化以及逆DCT变换是编码的逆过程,对于各个功能模块相对应的IPP库函数在IPP库参考文档中有详细叙述,在此不再赘述。
图3 MPEG-4编解码系统框图
2.3 视频传输模块
在压缩视频流通过IP网络传输之前必须打包。由于TCP协议丢包重传的特性增加了抖动和失真,不符合MPEG-4视频传输对时延的严格要求,本系统采用UDP来传输,但UDP不保证可靠传输,接收端需要通过RTP/RTCP来检测丢包。RTP协议提供了时间戳,序列号来控制实时数据的流放。发送端在数据包里隐蔽的设置了时间标签,接收端依照时间标签按照正确的速率恢复成原始的实时的数据。
2.4 视频回放模块
本系统采用FrameBuffer机制在LCD上实现视频信息的显示。FrameBuffer是一种能够提取图形的硬件设备,是用户进入图形界面很好的接口,这种接口将显示设备抽象为帧缓冲区。用户可以把它看作一块内存,只要将其映射到进程地址空间,就可以直接进行读写操作,而写操作可以立即反应在屏幕上。在应用程序中,首先打开/dev/fb0设备文件,随后用ioctl操作取得屏幕的分辨率和bpp值,从而计算出屏幕缓冲区的大小,并将该缓冲区映射到用户空间,最后就可直接对屏幕缓冲区进行图片显示。由于本系统所采用的LCD只支持RGB格式的视频流,而经MPEG4 解码后的数据为YUV格式的,所以在显示之前还需运用IPP函数ippiYUV420ToRGB565_8u16u_P3C3R进行YUV到RGB格式的转换。
3 结语
本文介绍了视频传输系统各个模块的功能和软件实现,重点介绍了基于IPP的MPEG-4编解码模块。从实际效果来看,在 XScale PXA270中利用IPP库编解码后的编码速率比未用IPP库提高了70%~90%,大大提高了实时性。本文的研究成果可以在视频监控,多媒体会议等很多领域得到更广泛的应用。
本文作者创新点:在基于Intel Xscale构架的PXA270嵌入式设备上,使用IPP为MPEG-4编解码编写的底层API函数对视频传输系统程序结构进行重组并优化,对IPP的语法规则和其中的关键算法给出了解释。经优化后的系统传输效率和图象质量明显提高。
参考文献:
[1]Intel Integrated Performance Primitives on Intel Personal Internet Client Architecture Processors Reference Manual Version 5.0 [S].Intel.com ,2005
[2]求是科技.Visual C++音视频编解码技术及实践[M].人民邮电出版社,2006
[3]洪艳伟,杨斌.嵌入式手持设备及其基于IPP的优化. [J].《微计算机信息》,2007,2-2:23
[4]Iain E.G.Richardson 著 欧阳合 韩军译. H.264和MPEG-4视频压缩[M].国防科技大学出版社,2004
[5]郑灵翔等.嵌入式系统设计与应用开发[M].北京航天航空大学出版社,2006