利用FPGA实现视频与影像处理应用设计

许多令人心动的技术创新(如HDTV和数字影院)都是和视频与影像处理技术以及这种技术的快速发展分不开的。影像捕获和显示分辨率的跳跃式发展、先进的压缩技术和视频智能正是这种技术创新背后源源不断的驱动力。特别是分辨率在过去几年里有了显著的提高。表1显示了不同的终端设备类型中当前采用的最高分辨率。

表1：终端设备类型的分辨率

从标准清晰度(SD)发展到高清晰度(HD)，需要处理的数据量增加了6倍。视频监测也从通用中间格式(CIF)(352x288)发展到了标准要求的D1格式(704x576)，一些工业摄像机甚至发展到了1,280x720的高清晰度格式。军事监测、医疗成像和机器视觉应用也正在向非常高分辨率的影像转移。 

先进的压缩技术正在取代前一代技术，它能提供更好的数据流性能、给定品质下更高的压缩率以及更低的延迟。JPEG 2000作为数字影院的标准在军事、医疗成像和监测领域得到了广泛采纳。H.264有望取代广播电视领域中的MPEG-2、视频监测系统中的MPEG-4第2部分和视频会议中的H.263。甚至在这些新的压缩解决方案部署的同时，正在进行中的标准化工作仍在不断增强H.264和JPEG 2000标准。 

DICOM医疗成像标准已经完成了附件105，其中包括了三维医疗成像压缩采用的JPEG 2000第2部分中的多组件转换。附件106将包含远程浏览JPEG 2000压缩的医疗影像所需的JPIP协议。 

MPEG-4第10部分(H.264 AVC)的下一个延伸就是可伸缩视频编码(SVC)。SVC编码方案可以满足在异质网络上使用现有的系统资源向不同用户可靠传送视频的需要，特别是在下行客户性能、系统资源和网络条件无法提前获知的情况下。例如，客户机可能有不同的显示分辨率，系统可能有不同的缓存或中间存储资源，网络可能有不同的带宽、丢包率和尽力而为或服务质量(QoS)性能。联合视频工作组(JVT)正在开发AVC/H.264的延伸，以提供具有更好压缩效率的位流级伸缩性，同时允许自由组合各种伸缩模式(如空间、时间和SNR/保真度伸缩能力)。应用领域包括视频监测系统、移动流视频、无线多通道视频制作与传送以及多方视频电话/会议。 

另外一个正在快速发展的领域是视频智能。摄像机已经能够移动拍摄、倾斜拍摄、可变焦拍摄和全景拍摄，但这些功能今后将完全由系统智能代替手工干预。运动检测功能只存储那些超过运动门限的视频帧，从而能更高效地实现硬盘存储。视频对象识别功能将需要使用自动监测，其效率要比人工监测高得多。 

随着分辨率的提高和压缩算法的进步，对系统性能和架构灵活性提出了更高的要求，以实现系统的快速更新。随着技术的成熟和产量的增加，成本需要得到进一步降低。 

可选择的系统架构包括标准单元ASIC、ASSP以及各种可编程解决方案，如数字信号处理(DSP)或媒体处理器和FPGA。每种架构都有各自的优缺点，最终选择取决于终端设备要求和解决方案的可用性。根据上面讨论的发展趋势，理想架构应具有以下特点：高性能、灵活性、易升级性、低开发成本以及随着应用成熟和产量增加向更低成本迁移的能力。 

FPGA方案的优势 

不仅压缩要求高性能，预处理和后处理功能也要求高性能。事实上，在许多情况下这些功能所需的性能超过压缩算法本身。这些功能的例子包括缩放调整、去交错、滤波和色彩空间转换。 

上述市场所需的高性能是无法用单独处理器的架构实现的。这种架构中的单个器件不能满足性能需求。最新的工作于1GHz的DSP也无法单独完成H.264 HD解码，而H.264 HD编码的复杂度还要比解码高出10倍左右。FPGA是唯一能够解决这个问题的可编程解决方案。在某些情况下，FPGA和外部DSP处理器的组合可能是最佳的解决方案。 

随着技术的快速发展，架构必须更加灵活和更易于升级。这就排除了标准单元ASIC和ASSP。ASSP是专门针对很大批量的消费类市场设计的，通常很快就会过时，因此对大多数应用来说选用ASSP要冒很大风险。 

而开发ASIC的成本非常高昂。如果加上掩模和晶圆、软件、设计验证和版图的成本，一个典型的90nm标准单元ASIC的开发成本可能高达3,000万美元。只有最大批量的消费类市场才能接受如此之高的开发成本。 

随着标准的日趋稳定和产品数量的增加，解决方案具有低成本迁移路径会非常重要。通常这意味着针对专门市场开发的ASSP或标准单元定制ASIC器件。然而，定制硅片成本的上升使得这些解决方案只有在最大批量的消费类应用中才具有经济上的可行性。大多数芯片公司专注于视频和成像领域的目标应用，例如摄像机、机顶盒、数码相机、蜂窝电话和其它便携产品或液晶电视和显示器。因此在设计较低批量的应用类型时，最好考虑用FPGA，因为它不像ASSP那样要求建立确切的功能集合，即使是最好的现成ASSP解决方案也因为存在潜在的过时可能性而面临极大的风险。 

Altera的视频与影像处理解决方案 

基于上述原因，FPGA在满足许多视频与影像处理应用的需求时非常适合。Altera的FPGA所具有的以下一些特性使得它们非常适合视频与影像处理架构： 

1. 高性能。高清晰(HD)处理能够在单个Altera的FPGA里实现。 

2. 灵活性。Altera的FPGA提供了快速升级架构的能力，以满足不断发展的需求，而可伸缩性使其适用于低成本和高性能的系统。 

3. 低开发成本。Altera的视频开发套件起价只有1,095美元，其中包括了使用Altera FPGA开发视频系统所需要的软件工具。 

4. 过时产品提供承诺。Altera的FPGA拥有非常庞大的客户基础，他们在新品推出后会持续提供该产品很多年。另外，FPGA设计很容易从一代工艺节点迁移到下一代工艺节点。 

5. 实现低成本的结构化ASIC的迁移路径。Altera公司100万门的结构化ASIC在10万片时的起价为15美元。 

6. Altera的视频与影像处理解决方案。包括优化的DSP设计流程、Altera的视频与影像处理套件、接口与第三方视频压缩IP以及视频参考设计。 

在FPGA/结构化ASIC上实现类似ASSP的功能 

随着解决方案数量的增加，Altera和合作伙伴成功地在FPGA或结构化ASIC上实现了ASSP功能。ATEME的H.264主类(main profile)标准清晰度编码器产品就是其中一个例子。有了这样的产品，用户就可以像使用ASSP那样使用FPGA。与传统的ASSP方法相比，这种方法的优势在于FPGA解决方案可以快速升级，不存在过时的风险。 

DSP设计流程 

Altera针对定制开发提供了优化的DSP设计流程，该流程允许用多种不同的方式表达设计，包括VHDL/Verilog、基于模型的设计和基于C的设计。Altera的核心视频与影像处理套件可以与这些设计流程中的任何一个一起使用。Altera和MathWorks公司合作开发了一种综合的DSP开发流程，允许设计师充分发挥Altera FPGA的性价比优势，同时高效地使用MathWorks公司基于模型的设计工具Simulink。Altera的DSP Builder是一款DSP开发工具，可以用来连接Simulink和Altera公司先进的Quartus II开发软件。 

DSP Builder提供了无缝的设计流程，设计师利用该流程可以在MATLAB软件环境中进行算法开发，并在Simulink软件中做系统级设计。然后形成硬件描述语言(HDL)，提供给Quartus II软件使用。DSP Builder工具紧密集成了SOPC Builder工具，能帮助用户构建包含Simulink设计和Altera嵌入式处理器以及知识产权(IP)内核的系统。该开发流程非常直观，容易上手，适合在使用可编程逻辑设计软件方面没有太多经验的设计师使用。 

视频与影像处理套件 

视频与影像处理套件由9大功能块组成，其参数能够静态，或在某些情况下动态改变。表2对这些功能做了总结。 

表2：视频与影像处理套件中的可用功能

图1所示的二维滤波器GUI是用户配置类型的一个例子，它是与视频与影像处理套件中的内核一起提供的。

图1：二维滤波器GUI

分辨率、每次采样的位数、FIR滤波器尺寸、边缘行为、溢出行为和累加器长度都是二维滤波器内核中支持的静态参数。

目前已经有多家第三方公司发布了针对Altera FPGA和结构化ASIC的视频压缩解决方案。表3列出了一些通用视频压缩标准和相关的第三方公司名称。

表3：第三方视频压缩解决方案

Altera及其合作伙伴也提供视频系统中经常要用到的接口内核，包括ASI、SDI、10/100/1000M以太网和DDR/DDR2存储控制器。表4列出了部分这些类型的内核和参考设计。

表4：视频接口和系统IP

采用视频与影像处理套件的典型视频系统如图2所示。

视频开发套件

Altera有两款新的视频开发套件。其中一款是视频开发套件Cyclone II版本。它有一个双通道复合视频输入、VGA输出端口、96kHz音频I/O、256MB的DDR2 DRAM和Cyclone II器件。另外一款是音视频开发套件Stratix II GX版本，支持四通道的高清SDI、ASI、DVI、USB、千兆以太网、1394和DDR2 SDRAM。使用视频与影像处理套件、DSP Builder和SOPC Builder开发工具的视频参考设计也包含在这两款套件中。除了这些套件外，还有多个用于视频解决方案的Altera第三方开发套件。

性能基准

表5给出了功能实例和实现该功能所需的相应FPGA。

表5：编码标准基准

Altera的Cyclone II低成本FPGA可最多集成1.1Mb的嵌入式存储器、300个工作在250MHz的嵌入式9x9乘法器和68,000个逻辑单元(LE)。Cyclone II EP2C35器件是系列里中等规模的FPGA，25万片时的报价是22美元。Stratix II高性能、高密度器件最多可集成9Mb的嵌入式存储器、768个工作在450MHz的9x9嵌入式乘法器和179,000个LE。这些功能也可以用Altera的HardCopy II结构化ASIC器件实现。重要的逻辑、存储器和DSP资源留给预处理和后处理功能使用(如表6所示)。

表6：预处理和后处理基准

本文小结

FPGA非常适合于视频与影像处理应用，如广播基础设施、医疗成像、高清晰度视频会议、视频监测和军事成像。Altera FPGA的视频与影像处理解决方案包含了优化的开发工具与套件、参考设计、视频压缩IP、接口与系统IP以及Altera的视频与影像处理IP套件。这些解决方案可以改善许多视频与成像设备的成本、性能和产能。