聚焦面向Smarter视觉的Zynq SoC

 您是否看过奥迪自动停车技术演示，轿车无需驾驶员干预，便可自动找到停车位并停泊。您是否使用Kinect控制器玩过Xbox 360游戏，或者刚刚咬下您从本地水果店购买的一块上好的水果。如果有，那您可能就是Smarter视觉系统时代到来的见证人了。从最高级电子系统到普通苹果，Smarter视觉技术影响着各种形式的产品。虽然当今各种系统已足以让人称奇，但一些专家预测未来10年，从汽车到工厂自动化、医疗、监控、消费、航空航天与国防的绝大多数电子系统，都将包含功能更加出色的Smarter视觉技术。

随着Smarter视觉系统高级程度的提高，我们很可能有机会乘坐网络化高速公路中川流不息的自动驾驶汽车。直觉外科等医疗设备令人惊讶的机器人辅助外科系统将进一步发展，可帮助外科医生实施远程外科手术。电视与网真将达到新的身临其境及互动水平，而电影院、家庭及店铺屏幕上显示的内容则将迎合每个消费者的兴趣，甚至是我们的情绪。

先进的视频系统不但可增强和分析图像，而且还可根据这些分析触发行动，从而显著控制了计算功能需求

Smarter视觉的赛灵思All Programmable解决方案处于这次革命的前沿。赛灵思以首款在单个芯片上整合ARM双核CortexTM-A9 MPCORETM、可编程逻辑以及各种重要外设的器件ZynqTM-7000 All Programmable SoC为基础，已推出一款工具与IP的支持性基础架构，其将在实现这些视觉创新开发与加速交付的过程中发挥重要作用。该支持性基础架构包含VivadoTM HLS(高级综合)、全新IP Integrator工具、OpenCV(计算机视觉)库、SmartCORETM IP以及专用开发套件。

赛灵思公司战略及市场营销高级副总裁Steve Glaser表示：“我们正在通过赛灵思All ProgrammableSmarter视觉技术帮助我们的客户开创新一代更智能系统。在过去十年里，客户已使用我们的FPGA为在其系统中使用的处理器上运行速度偏慢的功能提速。有了Zynq-7000 All Programmable SoC，处理器和FPGA逻辑将位于同一芯片上，这就意味着开发人员现在拥有一款非常适合更智能应用的硅芯片平台。”

就器件支持而言，Glaser表示：“我们已使用由Vivado HLS、全新IP Integrator工具、OpenCV库、SmartCORE IP以及开发套件组成的稳健开发环境为Zynq-7000 All Programmable SoC提供辅助。在这些Smarter视觉技术的帮助下，我们的客户不但能够跨越实现新一代设计，而且还可实现全新的效率水平，降低系统功耗，提升系统性能并大幅减少材料清单，从而可在提升盈利能力(因这些创新产品的推出步伐加快)的同时丰富生活，甚至挽救生命。”

从哑巴摄像机到Smarter视觉

更智能系统的根源是嵌入式视觉。根据迅速发展的行业组织“嵌入式视觉联盟”(www.embedded-vision.com/)的定义，嵌入式视觉融入了两种新兴技术：嵌入式系统(区别于使用处理器的计算机的任何电子系统)和计算机视觉(有时也叫机器视觉)。

嵌入式视觉联盟创始人兼咨询公司BDTI首席执行官Jeff Bier表示，嵌入式视觉技术已经给多个行业造成显著的影响，因为这个领域的发展已经远远超越了电机驱动旋转及变焦的模拟摄像机系统时代。Bier表示：“我们都已经在数字时代生活了一段时间，已经看到嵌入式视觉迅速从擅长于压缩、存储或者增强摄像头拍摄内容观感的早期数字系统，迅速发展成为如今能够知晓拍摄内容的Smarter嵌入视觉系统。”

此外，先进的嵌入式视觉系统不仅能增强和分析图像，而且还可根据那些分析触发行动。由此，处理量及计算功能以及算法高级程度都得到了显著提高。监控市场的快速发展就是这种显著发展的最好例证。

二十年前，监控系统厂商竞相提供得到机械系统强化的最佳透镜，其可执行能够实现更清晰、更宽广视野的自动对焦和旋转。这些系统基本上由通过同轴线缆连接模拟监控器的模拟视频摄像机和安保人员监测的视频录制设备组成，其清晰度、可靠性以及因此而产品的有效性主要取决于光学设备与透镜的质量以及监控摄像机播放内容的安保人员的尽职程度。

随着嵌入式视觉技术的推出，监控设备公司开始使用基于数字技术的较低成本摄像头。该数字处理技术为其系统带来了卓越的特性，不但性能远超基于透镜的模拟系统，而且价格更为低廉。鱼眼透镜以及采用各种视觉专用算法的嵌入式处理系统显著增强了摄像头所生成图像的质量。针对光照条件进行校正的技术可改善对焦、增强色泽和数字缩放观测区域，无需使用机械电机控制来执行平移、倾斜和缩放，从而可进一步提高系统可靠性。数字信号处理系统实现了1080p以及甚至更高的视频分辨率。

但可通过数字信号处理操纵的更清晰图像只是开始。监控系统制造商已经开始使用先进程度大为改观的像素处理技术开发更加高级的嵌入式视觉系统，其可在数字系统正在采集的高质量图像上实时执行分析。这些最初的嵌入式视觉系统只能检测具体的颜色、形状和移动。该功能迅速发展成了具有下列功能的算法：可检测某些事物是否跨越了摄像头视野中的虚拟栅栏，确定图像中的对象是否是一个人，以及链接到数据库后甚至可识别是哪一个人。

可疑行为

最先进的监控系统所提供的分析功能能够跟踪受监测个体穿越安保网络视野，甚至可跟踪他们离开摄像头视野后进入盲点，然后进入监控网络的另一部摄像头视野。视觉设计人员已经开发出一些此类系统，用于检测异常或可疑移动。赛灵思工业、科学及医疗(ISM)事业部系统架构师Mark Timmons表示：“分析是当今监控市场最大的趋势。它可克服人为错误，甚至取代细致的人工观察及决策。可以想象，在火车站和运动赛事等拥挤的环境中，监控难度极大。所以如果有分析功能，发现过渡拥挤的危险情况或跟踪表现有可疑行为或过激行为的个人，就会有明显的优势。”

为进一步增强这种分析功能，提升这些系统的有效性，监控以及众多其它使用Smarter视觉技术的市场正在更多地使用“融合”架构，将摄像头与热成像、雷达、声纳以及光/激光探测与测距(LIDAR)等其它感测技术相结合。这样系统可实现夜视功能，检测热温/热能签名，或捕获单凭摄像头无法采集或无法看到的对象。该功能可显著减少虚假检测，实现更精确的分析。毫无疑问，技术融合和数据分析会提高复杂性，需求更为强大的分析处理能力。

Timmons提到，这个市场的另一大趋势是执行所有此类复杂分析的产品都位于监控系统网络的“边缘”，即位于每一部摄像头中，而不是由每一部摄像头将其数据传输到中央大型机系统，再由大型机根据这些复馈进行更精细的分析。本地化分析功能会给整体安全系统增加灵活性，使系统中每个点都能够更加迅速准确地执行检测，因而如果摄像头真正发现了切实的威胁，就可更迅速地向操作人员发出告警。

本地化分析功能意味着每个单元不仅需要更强大的处理功能来强化和分析其所发现的事物，而且还必须相当紧凑，并能够整合高度集成的电子产品。并且由于每个单元都必须能够可靠地与网络其余部分通信，它还必须集成电子通信功能，进一步增大计算复杂性。这些监控单元逐渐通过无线网络连接，成为更大规模监控系统的组成部分;而且这些监控系统正日益成为更大规模企业网络乃至更大规模全球网络的组成部分，如美国军方全球信息网格(见赛灵思期刊第69期封面专题：www.xilinx.com/publications/archives/xcell/Xcell69.pdf )。

这种高复杂性正出现在军事和防务市场中的各个领域，从步兵头盔到与中央司令部联网的防务人造卫星，无所不包。可能更让人惊叹的是，Smarter视觉技术进入其它市场，提高生活质量与安全性的速度。

Smarter视觉成就完美苹果

现在以苹果为例。有没有想过苹果是怎么以如此良好的状态进入你的杂货店的?赛灵思工业科学及医疗业务部架构师Giulio Corradi表示，食品公司正在将最新更智能视觉系统用于食品检验流水线，将坏苹果从好苹果中筛选出来。Corradi表示，高速食品检验流水线上使用的第一代嵌入式视觉系统通常使用一个或多个摄像头发现苹果或其它农副产品表面上的瑕疵。如果嵌入式视觉系统发现有非正常色泽，该苹果就会被打上标记/筛选出来进行进一步检测，或者扔掉。

皮下检测

但是如果在此之前的某个时候水果曾掉落过，但伤痕难以察觉会怎么样呢?Corradi表示：“在某些情况下，掉落造成的损坏摄像头可能难以发现，只能用肉眼查看。损坏可能实际位于苹果的果肉中。所以一些Smarter视觉系统在摄像头上整合了红外传感器，用以检验苹果表皮下的损坏。发现受损苹果，就可触发机械分拣机将苹果拣出流水线，以免其被包装发往杂货店。”如果没有更智能融合视觉系统，损坏的苹果会通过检测。损伤会在苹果摆放在杂货店货架上时变得明显，这样该水果可能就必须要扔掉了。一个坏苹果会弄坏一堆苹果。

此外，分析功能还可帮助食品公司判断受损苹果是否损伤不太大，还可转入新的检验流水线，由另一套Smarter视觉系统判断它是否适用于其它用途，如制作苹果酱、果脯或者如果损伤太大，可用于堆制肥料。

Corradi表示，工厂车间是应用Smarter视觉的另一场合。越来越多的工厂使用机器人辅助技术或完全自动化机器人生产线帮助制造商根据不同任务更换机械设备。机器人周围的传统安全笼过于约束(或太小)，无法满足其制造不同产品系列的移动需求。

虚拟屏障可降低工厂安全事故，然而为什么不在游乐场、在我们家中的游泳池周围或汽车上也安装虚拟屏障呢?

故为保护工人的安全，同时也避免制约自动化工厂生产线的动作范围，企业正在使用Smarter视觉建立安全系统。摄像头和激光会竖立“虚拟栅栏或屏障”，如果有人在产品正在生产时过于靠近工厂生产线，其可向工作人员(和安全监测人员)发出告警声。部分设施包含多相虚拟屏障系统，在有人跨越外部屏障时其将发出告警声，然后在此人跨越第二道屏障、接近机器人时自动关闭整条生产线，以避免发生伤害事故。嵌入式视觉联盟的Bier提到，这类虚拟屏障技术有广泛的应用性。Bier说：“它对降低工厂安全事故数量能起到明显的作用，然而为什么不在游乐场中，或是在我们家中的游泳池周围，在轿车上也安装上虚拟屏障呢?我想我们将很快看到大量虚拟屏障系统出现在我们的日常生活中。”

Smarter视觉技术可提升驾驶体验

汽车是另一个全力推崇Smarter视觉的市场，其可实现更轻松、更安全的驾驶体验。赛灵思汽车业务部系统架构师Paul Zoratti表示，高级驾驶员辅助系统(ADAS)就是使用包括Smarter视觉在内的远程传感技术的整体体现，其可辅助驾驶员安全驾驶(见赛灵思期刊第66期的封面专题，www.xilinx.com/publications/archives/xcell/Xcell66.pdf )。

过去十年中的每一年中，汽车制造商不但会在其豪华车型中新增各类甚至更优异的驾驶员辅助特性，同时还在其运动车和标准车系列中实现了数量日渐增多的驾驶员辅助功能。盲点检测、变道辅助、行人及标牌检测等众多此类功能会在感测到潜在危险情况时，向驾驶人员发出警告。汽车制造商最近推出的车型甚至还可提供更为高级的系统，如自动紧急制动和车道保持等。它们不仅可监测车辆环境，发现潜在问题，而且还可辅助驾驶员采取纠正措施，避免事故或减轻其严重性。

Zoratti指出，现今某些新型轿车装配有四个摄像头，分别位于车辆两侧及前后，可实现车辆周边环境的360度不间断环视。虽然第一代环视系统只是使用这些摄像头为驾驶员提供图像，但未来系统将融入更多的驾驶员辅助功能。使用这四个摄像头和图像处理分析功能，这些新一代系统不但可同步生成汽车鸟瞰图，而且还可在遇到行人时警示潜在危险。此外，在汽车以更高速度行进时，其可使用车身侧面及后面的摄像头进行盲点检测、辅助变道，并在偏离车道时告警。在挡风玻璃后新增一个前视摄像头，可支持交通标识识别和前方碰撞告警功能。最后，当驾驶员抵达目的地，并启动自动停车时，系统将使用这些摄像头及其它传感器帮助汽车半自动驶入停车位。

Zoratti还表示，实时执行这些任务需要大量的处理功能，这恰好是并行硬件计算的长处。这就是为什么许多早期驾驶员辅助系统将独立微处理器与FPGA搭配使用，由FPGA处理大多数并行计算，用微处理器执行串行决策。

与监视等在每个摄像头上执行分析功能的其它市场不同，各种汽车成本压力正在促进分析功能在中央计算中心执行。这样，汽车制造商可最大限度降低每个摄像头传感器的成本，进而最终降低整个系统成本。这就意味着中央单元的处理平台需要提供极高的性能和带宽，才能支持四路、五路乃至六路实时视频输入的同步处理。

Smarter视觉技术可延长使用寿命

另一个Smarter视觉正在实现显著差异化的领域是医疗电子行业，其在各种医疗成像系统中广泛使用Smarter视觉技术，从内窥镜及成像扫描装置(CT、MRI等)到诸如Intuitive Surgical公司的达芬奇(Da Vinci)等机器人外科系统，无一例外。详细介绍见赛灵思期刊第77期(见：www.xilinx.com/publications/archives/xcell/Xcell77.pdf )。intricate

达芬奇高级3D视觉系统可帮助外科医生操纵极其精度、流畅以及触觉敏感的机器人外科仪器，完成各种精细而又复杂的外科手术。每诞生一代新系统，外科医生就能够执行更多数量的各种外科手术，确保更好的治疗效果和更短的恢复时间。控制和协调手术过程的技术精密程度令人叹为观止，这主要要归功于处理能力和逻辑的完美结合。因而，每一代更新技术都将从处理器和逻辑的更高集成中获益。

Smarter视觉可实现身临其境的体验

此外，Smarter视觉在让我们保持联系方面也在取得重大进步。如果您在现代办公楼里工作，您的公司很可能至少有一个会议室安装有高级网真会议系统。这不仅便于您与世界各地的参会者对话，而且还能亲眼看到他们，就像在身边面对面交流一样。这些视频会议系统的精密程度在不断提高，以致于能感知在桌边或者会议中发言的人是谁，然后可自动将镜头拉近并对准此人，用更高画质的逼真视频突出显示。

赛灵思广播及消费类市场营销总监Ben Runyan表示，开发网真技术的企业正在寻求为用户创造更加身临其境体验的途径。Runyan称：“这样做的目的是让用户感觉他们同处一间会议室，但实际上他们可能身处地球两端。要做到这一点，需要业界一流的摄像头及显示技术，这需要高级图像处理技术。随着这些技术日益变得更加高级，可带来更加逼真的体验，它不但将简化协作，让企业工作效率进一步提高，同时还可大幅降低差旅需求与费用。”

图1 ：在驾驶员辅助应用中，Zynq All Programmable SoC与多芯片多摄像头系统的对比

赛灵思：面向Smarter视觉的All Programmable

要全面快速推进Smarter视觉技术的发展，满足新市场需求，就必须拥有一款具有极高灵活性的处理平台、丰富的资源组合以及致力于推进Smarter视觉技术发展的可靠生态系统。过去10年来，赛灵思器件在帮助各企业推进这些视觉系统创新方面一直发挥着重大作用。历经五年发展后的今天，赛灵思推出了一款整体解决方案，其将帮助Smarter视觉应用开发商快速推出新一代创新技术。

10多年来，嵌入式视觉技术设计人员一直充分利用赛灵思FPGA的可编程性、并行计算功能和快速I/O功能满足大量嵌入式视觉系统的需求。过去，设计人员用FPGA加速系统中可能拖慢主处理器的功能，或者用FPGA来运行仅靠处理器不能执行的并行计算任务。而现在随着Zynq-7000 All Programmable SoC的推出，嵌入式视觉技术开发人员可获得一款理想开发新一代Smarter视觉应用的全面可编程器件。

赛灵思视频技术工程设计总监Jose Alvarez表示：“Smarter视觉技术可在能够在同一开发板上通信的不同处理器和FPGA中实现，而Zynq SoC则为电子产业带来了前所未有的高集成度。现在，我们能通过同一芯片上处理器和逻辑之间3,000个高性能连接以芯片速度而不是板级速度在主智能处理器和FPGA逻辑之间交换信息。”

图1展现了Zynq SoC在创建多功能车载驾驶员辅助系统时相对于传统多摄像头、多芯片架构的优势。赛灵思架构(图下左)可使用连接至一个Zynq SoC的一组摄像头，实现盲点检测、360度环视、车道偏离告警以及行人检测等功能绑定。相反，现有多功能驾驶员辅助系统需要使用多块芯片和多个摄像头，其不但可让集成复杂化，对性能和系统功耗造成不利影响，而且还可导致BOM成本上升。

一些半导体芯片厂商提供将ARM处理器和DSP或GPU结合的ASSP，但这类器件过于僵化，或是难以为当今众多更智能应用提供足够的计算性能。基于这些器件的解决方案往往需要增加独立的FPGA来解决此类低效率问题。

可编程性与性能

Zynq SoC相对于以GPU和DSP为中心的SoC而言，其主要优势就是具有的可编程性和高性能。ARM处理系统具有软件可编程性，FPGA逻辑可通过HDL或C++编程，甚至I/O也是全面可编程的。这样，客户就能创建出适合其特定应用的极高性能Smarter视觉系统，并让其系统从竞争产品中脱颖而出。

图2给出了smarter视觉系统的一般性信号流程，从中可以看出Zynq All Programmable SoC相对于基于ARM和DSP以及基于ARM和GPU的ASSP解决方案的优势。

流程中第一个信号处理模块(绿色)是连接器件到摄像头传感器的输入。在Zynq SoC中，开发人员可让多种不同I/O信号适应于客户连接的任何摄像头需要。。下一个信号处理模块执行像素级处理或视频处理工作(具体取决于应用是面向图形处理还是显示)。再下一个模块执行图像分析功能，这是一个计算密集型任务，通常需要并行计算，而这则是FPGA最擅长的任务。通过后续三个模块(红色)，处理系统从分析功能中获得元数据结果，创建结果的图形化表达(图形步骤)，然后对结果编码用于发送。

在Zynq SoC中，处理子系统和FPGA逻辑协同工作。如果需要压缩，可以方便地在FPGA逻辑中实现合适的编解码器。然后在最终的信号处理模块(标示为“输出”)中，开发人员使用Zynq SoC的可编程I/O，可以满足多种不同通信协议和视频传输标准的要求，有的是厂商专有标准，有的是特定市场标准，还有的则是业界标准IP协议。。与之相比，当开发人员采用以DSP和GPU为中心的SoC开发算法时，可能ASSP中的DSP或GPU难以提供所需的性能。为了弥补这种性能不足，开发人员往往还要在系统中采用独立的FPGA。

Zynq SoC显然是开发Smarter视觉系统的最佳芯片选择，而赛灵思在该器件开发的早期阶段就认识到，应当对编程进行优化，特别是对那些比较习惯用C和C++开发视觉算法的设计人员来说更应该优化编程方法。为此，赛灵思于2012年6月向客户推出了一款最先进的软件环境：Vivado设计套件，其包含有业界一流的高层次综合等多项技术。赛灵思于2011年1月收购AutoESL获得了这种高层次综合技术。Vivado HLS特别适用于嵌入式视觉应用。比方说，如果视觉系统开发人员用Zynq SoC开发的C或C++语言算法运行速度不够快，或者给处理系统带来过重负担，那么这些开发人员就能把C算法提交给Vivado HLS，并将这些算法综合成Verilog或VHDL，让其在器件的FPGA逻辑中运行。这就能将Zynq SoC上的处理子系统解放出来，让它从事更适合自己的任务，从而加速整体系统性能。

图2：般性视频及图像处理系统流程

OPENCV库

赛灵思还推出了OpenCV(CV就是计算机视觉的缩写)库，进一步完善了Smarter视觉技术。OpenCV是OpenCV.org发布的一种业界标准的开源算法库，可供嵌入式视觉开发人员用于迅速创建视觉系统。世界各地的嵌入式视觉开发人员都积极为该库贡献新算法，目前该库已包含有2,500多种使用C、C++、Java和Python语言编写完成的算法(见第24页的OpenCV报道)。库中的算法复杂程度各个不同，从图像滤波器等简单功能到动作检测等高级分析功能，无所不有。

Alvarez表示，这些OpenCV算法所针对的几乎是用任何商用微处理器和DSP实现的方案。由于Zynq SoC使用的是ARM处理系统，因此可在其处理器上实现这些采用C++语言编写的算法。

Alvarez指出，有了Vivado HLS，用户可以用C或C++语言编写这些算法，将函数调用从OpenCV改为HLS，然后使用Vivado HLS，将算法综合成或者编译成为便于Zynq-7000 SoC的逻辑部分实现而优化的RTL代码。在Vivado环境中使用OpenCV，便于Smarter视觉架构师方便地比较设计方案中的给定算法到底是在处理器还是Zynq-7000 All Programmable SoC的FPGA逻辑部分运行效率最佳。赛灵思开源库的推出可为客户提供一个良好的设计开端。赛灵思使用Vivado HLS，已经编译了OpenCV库中30多种最常用的嵌入式视觉算法。客户能够在系统级快速权衡处理器与逻辑，并且立即在Zynq-7000 All Programmable SoC中运行，为给定应用提供最理想的系统。

赛灵思及其联盟成员将积极不断地从OpenCV库移植更多功能，按季提供给赛灵思的用户群。由于开发人员可以在几乎任何商用处理器上运行OpenCV库，视觉设计人员将能够比较运行在各种芯片器件上的算法的性能并为之建立基准。

作为Smarter视觉计划的一部分，赛灵思还开发出了SmartCORE IP套件，以满足各种细分市场的Smarter视觉设计要求，为新一代产品带来Smarter视觉功能。借助赛灵思最新推出的IP Integrator工具，客户能够将SmartCORE IP套件提供的内核和OpenCV库提供的算法迅速实现在设计中。这种新工具是一种新型即插即用IP环境，方便客户在原理图环境中工作，或者如果需要的话也支持在命令行环境中工作。

目标平台意识

Alvarez指出，自Vivado设计套件诞生后，赛灵思让该套件的设计具有器件意识，这样就能充分发挥每款器件的功能。Alvarez称，有了IP Integrator，Vivado设计套件不仅具有器件意识，现在还具有目标平台意识，支持所有Zynq SoC和7系列FPGA开发板以及套件。具有目标平台意识，就意味着Vivado设计套件现在能配置和应用特定开发板的设计规则检查，从而确保快速推出切实可行的系统。

举例来说，当设计人员选择赛灵思Zynq-7000 SoC视频及成像套件，并在IP Integrator中实例化Zynq SoC处理系统时，Vivado设计套件则会用恰当的外设、驱动程序和存储器映射对处理系统进行预配置，从而为开发板提供支持。嵌入式设计团队现在能针对双核ARM处理系统和高性能FPGA逻辑更迅速地识别、重用并集成IP软/硬核。

用户可使用一系列对话框设定处理系统及其逻辑之间的接口。IP Integrator随后自动生成RTL，并针对性能或面积进行优化。接下来用户可添加自己的定制逻辑，或使用Vivado IP目录完成设计。

到目前赛灵思客户使用赛灵思FPGA已经开发出怎样的Smarter视觉系统，是非常值得一看的。Zynq-7000 All Programmable SoC和强大的Smarter视觉环境的问世，为开发更令人叫绝的新产品提供了保障。