视频、音频和定位信息的数据采集传输器的设计

地理信息系统( GIS)、全球定位系统( GPS)的广泛应用使人们享受到了基于位置服务所带来的诸多便利。传统G IS 是以地图为可视化主要手段， 然而人类获取信息的70%来自于视觉，因此将地理位置信息和视频信息有机结合可以极好的丰富G IS的内容， 产生许多新的应用。比如微软的Windows Local Live、影像城市武汉等网站都相继推出了实景地图， 让人们在网络上能直观、全面和便捷的了解各个城市。GPS信息和视频信息的结合， 还有利于对地理信息系统进行3D 建模， 如日本岩根研究所推出的3DV ideoG IS软件， 通过陆地上以及空中拍摄的具有定位信息的全景视频图像， 可以自动生成相应的高逼真的3D 场景模型。

为了针对以上这些应用需求， 本文中提出了一种一体化的视频、音频和定位信息的数据采集传输器。

本采集器不仅可以通过网络直播的方式提供一个更自然、更真实、更及时的地理信息系统环境， 采集数据能为实景地图和3D 场景地图的构建提供素材， 还可以实现基于定位信息的视音频数据的分割和检索。

为了实现采集器的高质量定位视音频压缩采集、实时的定位视音频传输， 以及低功耗以便携等要求， 系统中采用了T I公司的TMS320DM642作为了采集器的主控芯片。DM642 是TI公司推出的一款专门面向多媒体应用的TMS320C6000 家族中性能最高的定点DSP， 具有8路并行的运算器、3个视频专用和2个音频复用接口， 集成10 /100Mbit / s以太网MAC。该芯片具有的这些优点非常适合视音频信息的采集、压缩和传输。

图1为采集器的硬件框图。GPS定位数据通过串口由TL16C752B 读入; 音频信号由TLV320A IC23B以8 kH z， 16bit量化采样; 视频信号通过TVP5150采集。进入DM642 的定位数据一路通过低码率的H 264视频编码后与G. 723的音频编码信号同步合成后， 通过无线网络发送到远程服务器， 另一路采用高码率编码后存储到2. 5寸硬盘。

图1  采集器硬件框图

2. 1  视频信号的采集

视频信号的采集如图2 所示， SCLK 为时钟，GPCL为使能信号， Yout为8位BT. 656信号。系统中将DM642的VP0配置为VP0A + McASP模式， 其中VP0A 配置为8位BT. 656视频输入， 用来接一路视频输入。TVP5150PBS是一款高性能的视频编码器， 它将视频信号模拟摄像头输出的NTSC /PAL模拟信号转换成数字色差信号( YUV4: 2: 2)， 输出格式为ITU-R BT. 656。

图2  视频采集硬件框图。

2. 2  音频信号的采集

图3为音频输入框图， BCLK 为位时钟， LRC IN和LRCOUT分别为帧同步输入、输出， D IN 和DOU分别为音频输入、输出。McASP同时接入4路音频输入和输出， 系统中将McASP设置为突发帧同步模式。TLC320A IC23B 为音频编码器件， 支持麦克风、立体声输入和立体声输出， 根据G. 723 编码的要求， 话筒输入的电信号通过TLC320A IC23B进行8 K采样， 16比特量化。TLC320A IC23B 采用DSP模式与M cASP交换数据。

图3  音频采集硬件框图。

2. 3  GPS信号的采集

图4为GPS信号采集框图， TX 和RX分别是串行数据发、收信号。TL16C752B 采用8位异步步行存储器接口， 支持的波特率最高可达到1 Mbyte / s，与DM642的外部存储器EM IFA 连接， 地址A 2 A0用于对TL16C752B 的8 个寄存器寻址。MAX3160是多协议收发器， 可以将串口接口电平配置为RS232 /RS422 /RS485 等多种接口电平标准。GPS采集模块采用Ho lux M - 89， 它的灵敏度为159 dBm， 支援NMEA0183数据通讯协定，其定位精度小于3 m， 高于S iRF芯片， 因此除了能很好完成高速移动定位，更适合做步行等低速定位。

图4  GPS采集硬件框图。

2. 4  网络数据的传输

网络数据传输连接图如图5所示。DM642的网络接口是与PCI、HPI复用的， 系统中通过PCI总线的B3和B10配置为HPI16+ 以太网接口。以太网接口由EMAC(网络的数据通路)和MD IO( EMAC的状态和控制接口)两部分组成。系统中采用Broadcom 公司的BCM5221作为10 /100M 以太网的收发器(物理层)。

为实现无线网络传输， 采用了3G路由器和无线网卡通过EVDO 网络传输数据。3G 路由器采用Tenda 的3G611R， 该路由器兼容EVDO、HSPA、TD HSDPA三种3G网络。无线网卡采用中兴的AC2746， 该卡支持下行3. 1Mb it / s， 上行1. 8Mbit / s速率。

图5  网络传输硬件框图

3. 1  总体流程图

图6为系统软件流程图。为了实现网络的实时传输且保证后期的定位视音频处理， 系统中采用了G. 723. 1音频压缩编码、H. 264视频压缩编码， GPS数据仅保留经度、纬度、时间和高程四项数据以用于后期处理。由于G. 723的编码是每30 ms一帧， 为实现视音频和定位信息的同步， GPS间隔也设置为30 ms， 而实际的GPS 刷新速率为1次/ s， 因此需要通过经纬度内插的方式进行GPS 定位信息与视频图像的匹配。为压缩视频速率实现无线实时播放且实现视音频的同步， 视频编码设置为90m s一帧， 视音频编码的对应关系为1：3。

图6  系统软件流程图

3. 2  GPS数据的采集

系统中采用查询方式读取TL16C752B 中的GPS数据， 由于GPS数据是循环不间断发送， 软件设计时利用了TL16C752B 缓存资源，采用了间断提取的方案以减小对DM642的占用。由于GPS数据传输速率设置为4 800 Baud， TL16C752B 的缓存为64字节， 因此只要以小于133ms的时间间隔去读取TL16C752B中的GPS数据， 总能避免GPS 数据的覆盖。由于编码3帧G. 723. 1音频的时间为90ms， 小于133ms， 因此每90ms读取GPS数据1次， 读取11~ 12次后就可以完整的读完一组GPS数据。

3. 3  音视频数据的采集和编码

音频数据的采集由M cASP完成， 将采集缓存长度设置为480字节， 采集速率设置为8 kHz， 量化比特数设置为16 bi，t 则每30 ms将会返回一个采集缓存满的标志， 通过查询读取该标志可以实现音频数据的无丢失采集。视频数据的采集由EDMA 完成，发送视频采集指令后，由EDMA 完成将视频采集的原始视频数据搬移到指定内存。因此视音频数据的采集都不会占用DM642 的资源。G. 723. 1 的音频编解码是将ITU T 的参考程序移植并优化使用，经测试优化后的G. 723. 1的编码时间小于5ms。

H264的视频编码采用Seed公司的H264库， 该库支持C IF( 352* 288) 100 kb it / s到800 kbit / s的编码速率， D1( 704* 576) 500 kbit/ s到4 000 kbit/ s的编码速率。程序中， 硬盘存储采用D1、2. 4M 编码，网络传输采用C IF、300 kbit/ s编码， 经测试CIF 编码时间小于5m s， D1编码时间小于11m s。

3. 4  硬盘数据存储

系统中采用的硬盘操作方式是直接输入输出方式( PIO)， 为了防止每帧存盘占用过长的系统时间， 因此存盘任务采取了存盘缓冲的方案， 当缓冲区数据足够大时， 方进行硬盘操作。为防止硬盘文件过大， 超出了FAT32的存储范围(小于4 Gbyte)， 采取了当存盘文件大于800MB时， 重建一个序号相连的文件的方案。经测试硬盘读写速度最高可达到11. 8Mbyte / s， 因此完全可以满足系统存储速度约为3Mbyte / s的要求。

3. 5.网络数据传输

系统中的网络操作采用T I公司的NDK 库，该库支持TCP、UDP、HTTP等常见的网络协议。该库的处理能力为每b it / s需要1. 66 个处理周期， 以300 kb it / s的平均传输速率计算， 每帧需要492 k个处理周期， 系统中DM642 运行速率为600 MH z， 则平均每帧发送时间为0. 82 ms。为了实现实时播放， 系统中以UTP 协议传输编码后的数据， TCP 协议传输网络控制指令。

图7为车载环境下的实时传输到服务器并显示的结果图。系统测试采用了步行和车载两种模式， 步行路线为南京师范大学1号门到3号门， 步行速度为5 km /h， 车载路线为南京师范大学1号门到中北校区， 车载速度为60~ 80 km /h， 网络传输采用江苏电信的EVDO网络。通过测试证明了该采集器能很好的采集存储定位视音频数据， 在步行和车载环境下能通过EVDO网络传输的实时传输定位视音频数据。

图7  测试结果图

本采集器实现了定位视音频的网络直播， 提供一个更丰富及时的地理信息系统环境。除此外本采集器的采集数据可以为实景地图和3D 场景地图的构建提供素材， 还可以实现基于地理定位信息的视音频分割和检索， 将极大的丰富地理信息系统的应用。