当前位置:首页 > 单片机 > 单片机
[导读]随着网络及通信技术的发展,形式多样的嵌入式设备作为继PC机后的信息处理工具正日益渗透到社会生活的各个领域。在IP化和视频化的双重推动下,以嵌入式设备作为视频处理与传输终端在视频监控,视频会议等领域得到越来

随着网络及通信技术的发展,形式多样的嵌入式设备作为继PC机后的信息处理工具正日益渗透到社会生活的各个领域。在IP化和视频化的双重推动下,以嵌入式设备作为视频处理与传输终端在视频监控,视频会议等领域得到越来越广泛的应用。为了进一步提高传输的实时性和图像质量,本文在硬件平台上采用 Intel新一代的XScale处理器PXA270,增强了媒体处理能力,降低了系统功耗。同时,为了最大限度的发挥处理器的性能优势,本文采用 INTEL针对PXA27X系列开发的高性能集成函数库,即IPP库函数作为MPEG-4视频编解码的函数骨架,采用MPEG-4编解码,在LINUX嵌入式操作系统上实现并优化了视频传输系统

1 系统硬件组成及工作流程

1.1 系统组成

本系统硬件组成如图1所示,采用Intel公司的嵌入式处理器PXA270作为主控CPU,该款处理器的主频率可达520MHz,可以满足系统在编解码条件下的速度要求。其Wireless MMX技术有效提高了处理视频数据的能力,独有的SpeedStep技术使其兼备了高性能和低功耗的特点。根据系统的运算量和系统文件的大小,核心系统 Flash存储器和SDRAM存储器容量分别设计为32M和64M。外设接口方面,通过USB接口连接以OV511作为控制芯片的高性能USB摄像头,提高了传输速率并避免了低带宽条件下的图像跳动现象。通过LCD控制接口连接LCD显示模块,通过系统总线连接10M/100M自适应以太网芯片 LAN91C11。同时,系统还预留了RS232串口供调试使用。

1.2 MPEG-4视频传输系统的工作流程

该系统的主要工作流程如下:

发送端:视频数据经USB摄像头采集进入本系统,由PXA270对原始的YUV420格式的视频数据进行MPEG-4编码,采用IPP库函数进行DCT变换[2],量化,预测,运动估计及运动补偿,熵编码后,把压缩后的视频数据打成RTP包,经以太网控制模块送入以太网。

接收端:将接收的RTP包还原成MPEG4码流[2],仍采用IPP库函数由PXA270进行MPEG-4解码,将解码后的视频数据运用FrameBuffer机制送入LCD,由LCD显示模块来回放发送端采集到的视频图像,达到视频传输的目的。
  

图1 视频传输系统硬件组成框图

2 系统的模块分析及基于IPP库的软件实现

本系统由视频采集模块,基于IPP库的MPEG4编解码模块,RTP传输模块和视频回放模块组成,整个系统的软件流程图如图2所示,下面就该图对各个模块进行简要分析。


图2 系统软件流程图

2.1 视频采集模块

视频采集由USB摄像头来实现,采用通用的Video4Linux API 进行编程。Video4Linux是嵌入式LINUX为图像传感器之类的语音图像设备提供接口函数。通过打开/dev/video0 设备文件对摄像头进行操作,得到YUV420格式的视频数据。采集视频数据的过程为:打开设备文件,查询并确认设备性能,对采集窗口,颜色模式,帧状态初始化,采用mmap()内存映射方式实现共享内存,开始采集图像数据,阻塞等待驱动缓冲好一帧完整的图像,循环采集直至程序退出。由于采用了内存映射方式而不是read(),write()等文件操作函数,绕过了内核缓冲区,加速了I/O访问。同时,该模块开辟了两块视频缓冲区,一块用于采集的同时另一块用于发送,显著提高了采集效率。

2.2 基于IPP库的MPEG4编解码

2.2.1 IPP库简介

IPP是Intel基于其系列处理器开发的一套跨平台的集成性能函数库(Integrated Performance Primitives)的缩写[3,5],它提供了广泛的多媒体功能,包括音视频编解码(如MPEG4,G.723),图像处理,语音识别及加密机制。 Intel IPP 针对包括PXA27X系列的大量微处理器进行优化,采用跨平台的通用API,提供图像处理、颜色转换、过滤、变换,以及算术、统计与图形运算等各种函数,为软件应用程序提供了一个友好的连接界面,不但节省了开发成本以及研发时间,还使得多媒体应用程序在INTEL处理器上的性能大大改善。

2.2.2 IPP库函数介绍

一般的IPP函数名如下:

ipp<data-domain><name>_<datatype>[<descriptor>](<arguments> ) ;

这里的data-domain所谓的域,指的是该IPP函数所属的功能范围。i(images/video)代表二维图像处理

datatype数据类型的定义是<bit depth>位数加上<bit interpretation>位解释组成。位数有<1|8|16|32|64>,位解释则有<u|s|f>[c]。

这里u是无符号,s是有符号,f是浮点数,c是复数。

descriptor是描述符,描述要操作的数据。

C加数字n表明图像数据有几个颜色频道,1|2|3|4。

I表示操作仅在此数据内存的范围内进行,不需要多余的内存空间。

R表示需要指定ROI即圈选范围。

2.2.3 MPEG-4编解码中的关键IPP库函数

基于IPP库的MPEG-4编解码系统框图如图3所示,下面来具体介绍MPEG4编解码中用到的关键的IPP库函数[1,4]:

DCT变换:

ippiDCT8x8Fwd_Video_8u16s_C1R(const Ipp8u * pSrc,  int srcStep,  Ipp16s * pDst);

功能描述:将pSrc指向的8X8图像块采样点(空间域)进行前向离散余弦变换,转换到 pDst指向的一组变换系数(变换域)。

量化:

ippiQuantIntra_MPEG4_16s_I (Ipp16s * pSrcDst,  Ipp8u QP,  int blockIndex,  const int * pQMatrix);

功能描述:将输入的DCT系数量化后,重新存储到pSrcDst指向的存储空间,其中QP是量化系数

VLC编码:

ippiEncodeVLCZigzag_Inter_MPEG4_16s1u       对帧间块进行之字型扫描并VLC编码

运动估计和运动补偿:

ippiMCBlock_RoundOff_8u----进行运动补偿并将补偿结果复制到当前块

ippiMotionEstimation_16x16_SEA----完成16X16大小的运动补偿,它不仅覆盖了16X16,还包括了8X8的整像素和半像素搜索。同时,该函数还决定了帧内或帧间的选择

ippiEncodeMV_MPEG4_8u16s----搜索预测的运动向量并对残差进行编码

以上只选取了MPEG4编码端用到的帧内/帧间关键的IPP库函数,而解码端的VLC解码,逆量化以及逆DCT变换是编码的逆过程,对于各个功能模块相对应的IPP库函数在IPP库参考文档中有详细叙述,在此不再赘述。


图3  MPEG-4编解码系统框图

2.3 视频传输模块

在压缩视频流通过IP网络传输之前必须打包。由于TCP协议丢包重传的特性增加了抖动和失真,不符合MPEG-4视频传输对时延的严格要求,本系统采用UDP来传输,但UDP不保证可靠传输,接收端需要通过RTP/RTCP来检测丢包。RTP协议提供了时间戳,序列号来控制实时数据的流放。发送端在数据包里隐蔽的设置了时间标签,接收端依照时间标签按照正确的速率恢复成原始的实时的数据。

2.4 视频回放模块

本系统采用FrameBuffer机制在LCD上实现视频信息的显示。FrameBuffer是一种能够提取图形的硬件设备,是用户进入图形界面很好的接口,这种接口将显示设备抽象为帧缓冲区。用户可以把它看作一块内存,只要将其映射到进程地址空间,就可以直接进行读写操作,而写操作可以立即反应在屏幕上。在应用程序中,首先打开/dev/fb0设备文件,随后用ioctl操作取得屏幕的分辨率和bpp值,从而计算出屏幕缓冲区的大小,并将该缓冲区映射到用户空间,最后就可直接对屏幕缓冲区进行图片显示。由于本系统所采用的LCD只支持RGB格式的视频流,而经MPEG4 解码后的数据为YUV格式的,所以在显示之前还需运用IPP函数ippiYUV420ToRGB565_8u16u_P3C3R进行YUV到RGB格式的转换。

3 结语

本文介绍了视频传输系统各个模块的功能和软件实现,重点介绍了基于IPP的MPEG-4编解码模块。从实际效果来看,在 XScale PXA270中利用IPP库编解码后的编码速率比未用IPP库提高了70%~90%,大大提高了实时性。本文的研究成果可以在视频监控,多媒体会议等很多领域得到更广泛的应用。

本文作者创新点:在基于Intel Xscale构架的PXA270嵌入式设备上,使用IPP为MPEG-4编解码编写的底层API函数对视频传输系统程序结构进行重组并优化,对IPP的语法规则和其中的关键算法给出了解释。经优化后的系统传输效率和图象质量明显提高。

参考文献:
[1]Intel Integrated Performance Primitives on Intel Personal Internet Client Architecture Processors Reference Manual Version 5.0 [S].Intel.com ,2005
[2]求是科技.Visual C++音视频编解码技术及实践[M].人民邮电出版社,2006
[3]洪艳伟,杨斌.嵌入式手持设备及其基于IPP的优化. [J].《微计算机信息》,2007,2-2:23
[4]Iain E.G.Richardson 著 欧阳合 韩军译. H.264和MPEG-4视频压缩[M].国防科技大学出版社,2004
[5]郑灵翔等.嵌入式系统设计与应用开发[M].北京航天航空大学出版社,2006
 

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭