视觉与AI深度融合，开启智慧视觉新未来

智慧视觉是新基建等众多行业的关键技术，伴随着行业的发展，画质技术与AI技术不断成熟、相辅相成，并且呈现出越来越强的融合的趋势。上海海思聚焦端侧技术，在画质和AI方面坚持投入不断创新，致力于为行业伙伴提供最领先的智慧视觉技术与解决方案。

视觉不但是生物演进过程中的里程碑，随着智能时代的到来，也成为智能终端最重要的基础能力之一，在交通管理、消费电子、工业智造、智能汽车等诸多领域有着广泛的应用。“无图无真相”，视觉是这些产业最不可或缺的能力，先后经历了看得见、看得清、看得懂的不断升级，伴随着从模拟，到数字化、网络化、智能化的演进。在视觉技术使能的众多产业蓬勃发展的大潮中，海思深耕ISP图像处理、视频编解码、AI计算等核心技术，以更清晰更智能的视觉SoC芯片方案，与产业伙伴共同推动产业从高清到超高清的升级，不断提升全天候图像画质，挖掘视频数据价值，使能更多行业应用。

“看得清”仍然是产业升级的重要动力

从智慧城市、智能汽车等行业的应用来看，视觉技术面临的主要挑战来自全天候图像捕获、价值数据获取等方面。虽然目前整个产业已经进入4K/8K超高清时代，但是“看得清”仍然是产业升级动力之一，尤其是低照度、逆光等场景，仍然是业界公认的难题，普遍存在视频画质差、目标不清晰、进而影响后续AI识别率等难题。

海思多年来深耕ISP图像处理技术，通过不断超越的技术手段，即使在极端的低照度和逆光等场景，也能提供令人惊艳的画质。

在暗光场景，海思综合利用8级3D降噪和多光谱融合多种技术提供了业界最优秀的暗光成像品质。其中8级3D降噪技术利用8级滤波器进行降噪处理，它可以在空域滤波过程中同时实现图像去噪和增强，以及在时域滤波过程中混合两种不同的时间模式。8级3D降噪技术还包含两个用于细节增强的IE模块和一个锐化模块，可以在实现更强的去噪的同时，保留并增强更多的图像细节。而多光谱融合则通过红外补光，在ISP将可见光、850nm、940nm等常见光谱融合，在不增加光污染的同时，最终使图像效果达到暗光全彩，细节纹理丰富，过曝区和非过曝区准确处理。

例如在光线不足的地下停车场，海思的8级3D降噪与多光谱融合技术结合能够让图像达到暗光全彩的效果，细节纹理更加丰富，噪声大幅降低，能够在暗光下精准记录信息，大大减少视觉死角。

在逆光等高动态范围场景，海思能够基于图像目标区域(隧道出入口等)进行检测及分类，实时调整曝光策略，提升特定区域的成像效果。在静态场景，在目标辨识度、整体细节、清晰度、色彩饱和度等方面，表现均优于业界领先水平;在出入隧道等动态场景，海思技术在实测中表现出曝光准确，调整迅速的特点，对行车安全有很大帮助。

“看得懂”使能智慧视觉更丰富的应用

近年来数据、算力、算法不断进步，特别是视频数据与AI结合，极大地推动了智能终端的升级和广泛应用。全联网、全高清带来图像质量大幅提升的同时，也带来庞大数据量，从视频到结构化数据的智能转换成为行业发展重点。上海海思在2016年布局AI视觉处理芯片，2018年推出跨时代旗舰处理器，引领视觉相关产业向AI化发展，帮助行业合作伙伴在海量场景中快速获取价值目标信息。

由于端侧的特点，实现算力的同时需要综合考虑成本、功耗等多种元素。深度神经网络计算的特点是基于大量的矩阵乘法，分解下来的最基础单元是MAC乘加运算。海思通过自研的达芬奇魔方架构对矩阵乘加计算进行加速，并针对智能终端的特点，提供新一代高性价比达芬奇端侧AI引擎，通过硬件和软件结合的优化，实现PPA(Performance Power Area)以及MAC利用率大幅领先行业水平。仅有算力也是不够的，为了满足不同的应用场景和开发需求，开发者还迫切需要更容易使用的开发套件，高效率高质量的完成开发。海思AI芯片支持业界主流开发框架：PyTorch、TensorFlow、Caffe、MindSpore，并且支持ONNX开放神经网络交换格式，能够灵活适配不同的开发框架。

除了基于神经网络的应用，海思还深入分析智慧视觉应用的特点，结合丰富的实战经验，将部分计算机视觉的算子直接硬化集成，例如图像缩放、颜色空间转换、基本滤波处理、目标检测、车牌识别、3D深度检测等基础CV算子，不仅运算更高效，而且开发更便捷，可广泛应用在智慧城市、无人机、机器人、AGV、辅助驾驶等多种场景。

当视觉进入AI时代，智慧视觉也逐步成为必不可少的社会效率工具。例如智慧停车场将停车场管理带入无人值守时代，利用摄像机+AI自动识别车牌，从取卡到“无感”，降低了人力和卡片维护系统成本，提升了驾车出行的效率。

从刷卡到非接触打卡，从人员值守到快速通勤，智慧视觉在办公场景的应用也大大提升了园区管理的效率。2020年疫情期间，实体打卡、接触式指纹识别打卡逐渐被智能打卡取代：多通道智慧视觉能力被应用于众多智慧打卡机、通道闸机中，与多维感知融合，提升通勤效率同时减少人员接触，有力保障了园区有序管理。

视觉与AI的深度融合是产业发展的大势所趋

基于滤波等传统技术的图像处理技术在暗光、宽动态等场景的效果逐渐遇到一定的瓶颈，获得显著的改进越来越困难，而利用AI进行图像增强逐渐成为研究新热点并取得了显著的进展。根据海思研究表明，利用神经网络技术对图像中的噪声进行检测和去除，叠加多光谱技术不仅更好的区分了运动物体和静止背景，而且改善噪声形态及提高信噪比，0.1 Lux下智能识别率预估可达到95%以上。除了暗光去噪，AI还可用于宽动态DRC等多种场景。近年来AI对静态照片的优化已经广泛应用于高端手机的相机拍照并获得了不错的效果，而视觉行业的特点要求能够对高分辨率、高帧率的视频应用AI进行实时调优，对算法算力的要求更高，特别是如何在端侧算力环境下高效实现AI ISP功能，获得相比传统ISP更优的效果，是海思以及产业伙伴正在探索的方向。

视觉与AI是新基建众多领域的关键技术，也是智能终端最重要的基础能力，它们在数据、算法、算力的推动下不断进步，满足更多行业和场景的应用需求，并且呈现出越来越强的融合的趋势。上海海思能力覆盖感知、计算、联接、表达、以及半导体工程工艺等多方面，特别是以视觉产业为基础，在端侧视觉感知、AI计算领域有深厚的经验和业界领先的核心能力，坚持投入，不断创新，为行业伙伴提供最领先的技术与解决方案，为智慧城市、智慧家庭、智慧出行等场景的智能终端打造性能领先、安全可靠的半导体基石。