视频处理技术

　和一般的业务不同，视频是流特性业务，数据量很大。例如，数字电视图像中的SIF格式、NTSC制式、彩色、4∶4∶4采样，每帧的数据量为2028Kb，每秒的数据流量可达60.8Mb；CCIR格式、PAL制式、4∶4∶4采样的彩色视频的数据流量可达148.8Mbps。实验表明，176×144的YUV原始视频在10Mbps的LAN上传送速率是3帧/秒左右。可见，未压缩的视频在Internet上传输的效果是无法容忍的，而且会很容易地将Internet资源吞没，造成网络拥塞甚至崩溃。因此，IP视频通信的第一步就是视频压缩。

　　视频压缩编码的理论基础是信息论。压缩就是从时域、空域两方面去除冗余信息，即将可推知的确定信息去掉。编码方法大致可分为三类：
　　1.考虑到图像信源的统计特性采用的预测编码方法、变换编码方法、矢量量化编码方法、子带-小波编码方法及神经网络编码方法等；
　　2.考虑到视觉特性采用的基于方向滤波的图像编码方法、基于图像轮廓/纹理的编码方法；
　　3.考虑到图像传递的景物特征，采用的分形编码、基于模块的编码方法。

　　在IP视频通信应用中，编码方法的选择不但要考虑到压缩比、信噪比，还要考虑到算法的复杂性。太复杂的编码算法可能会产生较高的压缩比，但也会带来较大的计算开销，软件实现时会影响通信的实时性。目前，在众多视频编码算法中，影响最大并被广泛应用的算法是MPEG和H.26x。

MPEG编码
　　MPEG是国际标准化组织ISO/IEC下的一个制定动态视频压缩编码标准的组织，它为视频压缩编码技术的标准化、实用化做出了巨大贡献。如针对CD-ROM的1.5Mbps传输率的MPEG-1、针对HDTV的6Mbps以上传输速率的MPEG-2都已成功地得到应用，并创造了巨大的商业价值。MPEG-4是针对视频会议、可视电话的甚低速率编码标准，它融入了基于内容的检索与编码，可对压缩数据内容直接访问；即将于2001年制定完毕的MPEG-7标准被称为"多媒体内容描述接口"，这种标准化的描述可以加到任何类型的媒体信息上。不管视频信息的表达形式或压缩形式如何，具有这种标准化描述的多媒体数据均可被检索。因此，MPEG-7的应用领域主要是数字化图书馆和广播式媒体。

H.263编码
　　H.261编码是一种帧间预测减少时域冗余、变换编码减少空域冗余的混合编码方法，具有压缩比高、算法复杂度低等优点，得到较为广泛的应用。Mbone的重要应用工具之一IVS的视频编码采用的就是H.261编码算法。在H.261的基础上，1996年ITU-T推出了H.263编码标准。H.263在许多方面对H.261进行了改进和扩充，如在编码算法复杂度增加很少的基础上，H.263能提供更好的图像质量、更低的速率，十分适合于IP视频会议、可视电话应用。目前，H.263编码是IP视频通信采用最多的一种编码方法，并已被许多多媒体通信终端标准所吸收, 如：ITU-TH.310（B-ISDN）、H.320（ISDN）、H.324（PSTN）、H.323（LAN、 WAN、Internet）。

　　随着计算机性能的快速提高，对于可视电话和视频会议等应用（一般使用QCIF图像），纯软件编码器（codec）即可以满足应用要求。我们实现的H.263纯软件编码器在主频为166MHz的主机上编码帧率可达60帧/秒以上，平均图像质量（用信噪比表示）大于38dB。

　　1998年ITU-T推出的H.263＋是H.263建议的第二版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像形状和时钟频率也有多种选择，拓宽了应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋的图像分段依赖性也可以是受限的，以减少差错传播。H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。