当前位置:首页 > 嵌入式 > 嵌入式教程
[导读]面向异步视频的嵌入式图像处理系统设计

摘要:在此设计出一种基于DSP+FPGA技术的面向异步视频的嵌入式图像处理系统,以一种灵活的架构避免了帧间不同步方法对双口RAM显存的需求,既能够保证图像输出质量,又有利于提升图像处理的性能指标。系统以FPGA为核心,连接DSP和4片帧存,通过帧存的循环复用将缓存和显存融合起来,省略了数据搬运的环节。当输入帧频小于输出帧频时,从系统总体的角度分析帧存的状态转换规律,当输入帧频大于输出帧频时,从单个帧存的角度分析帧存的状态转换规律,并蛤出了可编程逻辑设计的源程序,该方案已在产品中应用,通过升级能够满足更高的技术要求。
关键词:异步视频;图像处理;嵌入式系统;FPGA;帧存切换

    图像处理系统输入视频信息,运行图像处理算法,输出处理后的图像信号,实现目标检浏、跟踪、识别等功能。系统的输入和输出常常是不同的视频格式,二者由于帧频的不同,处于异步的状态。为了提高异步视频时输出画面的质量,本文展开了深入的研究,设计出一种基于DSP+FPGA技术的面向异步视频的嵌入式图像处理系统,提高了输出图像的视觉效果,结构简洁,具有小巧灵活的优点。

1 异步视频的处理方法
    
如果图像处理系统的输入为复合模拟视频,帧频25 Hz;输出为XGA格式,帧频60 Hz;一幅输入画面平均产生2.4次输出画面,此时系统处理的就是异步视频,有3种处理方法:帧内不同步方法、帧间不同步方法和准同步方法。
    (1)帧内不同步方法。输出帧以输入帧的帧频进行切换,当一帧输入数据准备好后,输出帧就切换到新一帧的视频数据,不管此时输出帧进行到了哪个时刻。这种模式中输入帧和输出帧处于帧内的不同步状态,即输出帧的画面可能由非同一幅输入帧画面组成。当相邻的两帧图像存在较大差异(目标与传感器有较高的相对运动)时,输出帧的画面会出现明显的分界。例如视频采集卡采集复合视频信号在PC机监视器上显示,动态画面的分界清晰可辨。
    (2)帧间不同步方法。把不同步局限在帧间的状态,当一帧输入数据准备好后,输出帧不会立即切换到新一帧的视频数据,而是根据输出帧自身的时序做出选择。只有当前输出帧输出完毕后,才会切换到新一帧的视频数据,保证了输出的每幅画面都有一个对应的输入画面,不会出现2个输入画面拼接的状况。如果一幅输入画面平均产生2.4次输出画面,那么某些输入画面显示了2次,某些输入画面显示了3次。原来在时间上均匀显示的输入画面,在输出时不再均匀。当输入画面中存在匀速运动的物体时,在输出画面中,物体会出现跳跃式的运动。这种显示效果在大多数应用环境中肉眼难以觉察,是目前嵌入式图像处理系统广泛采用的处理异步视频的方法。比较第一种方法,硬件设计的复杂度有所提高,但保证了用户的观测效果。
    (3)准同步方法。输出帧和输入帧在一段时间上基本对应,接近同步的效果。虽然输入和输出的帧频不同,但系统根据相邻的输入帧图像的变化特点,生成一些中间帧,加入到输出帧序列中,突出了输出帧频提高的显示效果,能够保持西面的连续性。这种方法多用于视频格式转换系统,其存储器的空间要满足帧速率转换算法的要求。某些视听大屏幕设备只转换特定的几种视频格式,特殊的算法可使存储器空间最小化,以利于降低成本。
    图像处理系统面对异步视频时,非专用于视频格式转换目的情况下,实现帧间不同步的输出效果即可。一般的解决方案是准备3帧数据空间的双口RAM显存,无论写入速度多少,都能够避免写入和读出的冲突。本文设计出一种基于DSP+FPGA技术的嵌入式图像处理系统,以一种灵活的架构避免了显存的需求,既能够保证图像输出质量,又有利于提升图像处理的性能指标。

2 嵌入式图像处理系统
2. 1 功能架构
    
通常图像系统中数据流环节依次为:输入接口、FPGA、数据缓存、DSP、显存等。其中显存中的数据以帧为单位切换输出,两帧乒乓的方式只能用于同步状态。本系统设计的功能架构如图1所示,可以把缓存和显存融合在一起,通过FPGA切换的方式免除数据搬运的过程。

[!--empirenews.page--]
    可编程逻辑器件(FPGA)将数字信号处理器(DSP)、4片帧存以及输入和输出视频数据流连接起来。依据功能状态,帧存定义为写入帧、处理帧、读出帧、缓存帧、废弃帧,其中缓存帧和废弃帧不同时存在。写入帧指该帧存与视频数据输入流连接,正在存储输入的视频数据;处理帧指该帧存与DSP连接,作为DSP的数据缓存,供软件读写;读出帧指该帧存与视频数据输出流连接,视频数据正在被读出显示;缓存帧指处理帧的下一个状态,等待被读出显示,处于孤立状态,废弃帧指视频数据已经完成输出,等待被新的数据写入,处于孤立状态。每一帧视频数据与一片帧存关联,依次经历写入、处理、缓存、读出、废弃的状态(不一定是全部的状态)。FPGA依据规则切换4片帧存,循环往复。
    嵌入式图像处理系统的功能分为图像处理和视频转换2部分。图像处理功能主要由DSP实现,当输入的视频数据成为处理帧时,DSP软件要在一个输入帧周期内读入数据、执行处理算法、用新的数据覆盖帧存(该帧存随后会读出显示)。图像处理结果可以从DSP的通讯接口上报,必要时,FPGA也可以完成部分图像处理算法,减轻软件负担。视频转换功能指FPGA对4片帧存的切换来实现异步视频的帧间不同步方法。
2.2 切换规则
    
在异步视频的帧问不同步状态下,输出帧的完整性需要保证,帧存的切换不能只依据输入帧的同步信号,还必须考虑输出帧的同步信号,嵌入式图像处理系统利用第4片帧存提供时间上的缓冲。帧存共有5种状态,任一时刻4片帧存分别对应写入、处理、读出、缓存(废弃),帧存的写入、处理、缓存状态由输入帧的同步信号触发确定,帧存的读出、废弃状态由输出帧的同步信号触发确定。
2.3 状态转换程序设计
    
设定4片帧存的初始状态见表1。


    帧存的状态由两种同步信号触发转换,因此设定为输入和输出两部分状态的组合。
2.3.1 输入帧频小于输出帧频
    
在输入帧频小于输出帧频的情况下,每一个输入帧都会被读出显示。在每个输入帧周期中,至少会发生1次输出帧同步触发事件,第1次输出帧同步信号触发之后,原缓存状态的帧存切换到读出状态,原读出状态帧存转换为废弃状态,然后保持不变,直到新的输入帧同步信号到来。从系统整体分析4片帧存的状态转换过程,得出表2的结果。


    表2显示系统状态转换的一个循环包含8种情况,由4种输入和4种输出组合而成,每种输出状态对应一个处于读出状态的帧存。

2.3.2 输入帧频大于输出帧频
    
在输入帧频大于输出帧频的情况下,一个输入帧周期内,如果接收到输出帧同步信号,缓存帧会转换为读出帧,否则会被重新写入,没有机会输出显示。帧存的状态转换与其原来的状态相关,具有随机特性,不宜从系统总体确定状态循环,只能从单个帧存的角度分析状态转换规律。[!--empirenews.page--]
    设定某帧存输入部分为写入、处理、半缓存、无效4种状态,输出部分为读出、废弃、无效3种状态,二者组合确定该帧存的状态,如表3所示。


    单个帧存的状态转换流程如图2所示。


    图2中X代表废弃或无效状态。某片帧存从写入状态开始,受输入帧同步信号触发后转换为处理状态,再次触发后转换为半缓存状态,期间的输出帧同步信号不会改变帧存状态,只能确定输出部分为无效状态。半缓存状态时受输出帧同步信号触发进入读出状态(半缓存|读出),否则受输入帧同步信号触发返回写入状态。读出状态(半缓存|读出)不会受输出帧同步信号的触发改变,但接受一次输入帧同步信号后会成为新的读出状态(无效|读出),此时系统有了新的缓存帧,当输出帧同步信号来到后转换为废弃状态,此时新的缓存帧进入读出状态,再次受输入帧同步触发后返回写入状态。
    帧存1的状态转换源程序如下,其他3片帧存类似。

    

3 结语
    
本文设计的以FPGA,DSP和4片帧存为主体的面向异步视频的嵌入式图像处理系统,把视频数据缓存和视频输出显存融合在一起,节省了数据传输的时间。FPGA依据输入和输出帧同步信号切换4片帧存,能够实现异步视频时帧间不同步状态,无需满足帧频转换算法对存储器空间的要求。采用更先进的存储器、DSP、FPGA芯片能够提高数据传输速度,扩充数据存储空间,加强软件处理能力,实现系统整体性能指标的升级。本方案已经在产品中应用,具有嵌入式系统小尺寸、低功耗的优点,通过升级能够满足更高的技术要求。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭