“玲珑”ISP处理器亮相,打响安谋中国自研IP产品线第四弹
扫描二维码
随时随地手机看文章
依托安谋中国领先的数字宽动态与融合宽动态结合的算法技术,“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升,并采用多尺度、多级降噪技术,以支持2D/3D自适应降噪,达到业界领先的信噪比表现
自“周易”、“星辰”、“山海”悉数亮相后,安谋中国的第四条自研IP产品线——全新“玲珑”多媒体产品线在2020年12月发布,自此安谋中国自研IP产品线布局日趋完善。“周易”是一个开放通用的人工智能平台,拥有软件框架Tengine和人工智能处理单元(AIPU),最新发布的“周易”Z2 AIPU单核算力最高可达4TOPS,同时支持多达32核的可扩展配置;“星辰”基于Arm v8-M架构,是面向物联网设备的轻量级实时处理器;“山海”是面向物联网设备的信息安全方案。
此次安谋中国公布了全新“玲珑”多媒体产品线,其中首款产品“玲珑”i3/i5 ISP处理器在降噪、清晰度和宽动态等指标上达到业界领先水平,具有高画质、低延时、可配置能力强、扩展兼容性高等特点。”玲珑”ISP处理器可广泛适用于安防监控、AIoT及智能汽车等领域的视频、图像处理工作,满足不同场景的数据处理需求。
历时两年,安谋中国本土团队独立研发的“玲珑”ISP处理器采用先进的架构,面向多个目标市场。安谋中国表示他们正瞄准传统的多媒体方向的应用空间和领域,那么安谋中国以“玲珑”系列打入这个领域有哪些考虑呢?
01
ISP图像处理器的应用生命力强
ISP是图像信号处理器(Image Signal Processor)的简称,目前已经被广泛应用于人们对于摄像头、人机交互的需求中。多媒体应用是一个相对传统的应用方向和领域,过去在音视频、图像上已有一定的技术积累,如今已衍生出一些新兴的应用方向,如图像不仅仅是给人看,也交给机器“看”。
如今海量的嵌入式设备携带摄像头,近至你手掌中的智能手机、市面上大量的大众消费级的显示器,当然也包含正在研发当中的智能驾驶系统,以及各种公共场所上的监控设备;远至在近地轨道上运行的众多微型卫星,可以说图像信号的获取和处理是一个极为广泛存在的需求。
安谋中国产品研发常务副总裁刘澍表示:图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析,并对画面做不同程度的增强和改善,这使ISP图像信号处理器在此专业领域里,长期地保持着应用生命力。这也是为什么安谋中国在传统多媒体方向的应用空间和领域也不断进行投入的原因。
02
跟踪变化,不受美国管制限制
国外进口管制与中国相关法案均在动态变化中。由于规则不断变化,安谋中国也将持续跟踪有关美出口管制禁令,跟踪法规变化进展。
刘澍表示:安谋中国的产品经过详细的法律分析,工程团队不断将设计的具体情况反馈给内、外部的法务部以及外部的顾问。分析结果表明,在目前的进出口管制规则下,”玲珑 “ISP 处理器不受美国进出口管制限制。
“玲珑”ISP处理器依照不同场景,划分为多个系列产品
图像和机器的交互、人和机器的交互、以及虚拟和现实图景的交互,不同场景的画质处理与读者感官上的处理,包括机器等功效的处理等存在很大的不同。
从一个视频流到ISP图像处理器的输入,到GPU的处理,VPU的解析,AI在里面的分析和运算,到最后的解析和输出,整个数据流在SoC里面经过了非常复杂的过程,因此靠一个单点产品不能满足视频画面处理的最佳效果。“玲珑”ISP处理器从系统的层面来看,包括从前端前处理到后处理,到中央的运算分析等等,把它们当成一个整体来看,同时在这上面叠加目前广大应用所关心的安全性、隐私性、内容管理性等特色。
在应用场景方面,“玲珑”ISP处理器能支持多摄像头的规格。摄像头数据进到ISP内部,“玲珑”在RAW域、RGB域以及YUV域上面进行各种色彩、图像、降噪的处理。若干驱动和应用程序运行在CPU侧,同时在OS层面进行优化和验证。最后,经过”玲珑”ISP的前处理之后导入到DDR的控制器里,DDR里面的数据会对不同的运算单位进行交互。这里面包括了人工智能单元、CPU单元、视频单元和显示单元的后处理。
“玲珑”ISP处理器依照不同场景的数据处理需求划分为多个系列产品。i3系列与i5系列这两款产品之间有一定的差异性。未来,“玲珑”ISP处理器还将推出更多差异化的产品系列,全面覆盖市场。
i3系列 主打低功耗、轻量级应用
此系列支持2K视频处理及单路视频信号接入处理,可以广泛应用于家居、AIoT 领域。时钟综合频率在 400MHz 左右,能够达到 500 万像素、60fps 的实时处理效果。在保证效能、控制成本的同时,依然保持对宽动态的处理、降噪的处理和清晰度的处理的高水准。
i5系列 主打中高端市场应用
此系列支持4K视频及多路视频信号接入处理,能够达到800万像素、60fps的实时处理速度。值得注意的是,此系列在台积电16nm工艺水平上综合时钟频率可以达到600MHz。
“玲珑”ISP 处理器概览
关于新品特点,刘澍强调以下两点:
灵活可配置的设计
“玲珑”ISP处理器包含非常复杂的降噪、宽动态的处理程序,可在处理过程中给用户一定的选择的空间,甚至还有为客户定制的接口,帮助客户达到两方面的目的:第一、实现产品差异化。第二、客户可以针对很多不同的场景、不同的传感器、不同的模组、不同的光线以及周边的环境,选择不同的模块,从而有更大的可扩展、可定制空间,可做出非常有特色的产品。
优秀的动态效果
“玲珑”ISP处理器,一是拥有安谋中国引以为豪的宽动态处理效果;二是拥有业界非常领先的各种降噪表现,在低光降噪方面,通过2D和3D的降噪技术,提供多尺度、多级降噪效果。
以上特点,在安谋中国ISP产品经理解亮所作的“玲珑”ISP处理器效果解说中,进行了可视化体现:
▲WDR宽动态效果(高光抑制)
▲降噪效果(2级降噪)
具体来说,“玲珑”i3/i5 ISP处理器的技术亮点有:
-
硬件架构灵活可配置,客户可自行选配可选模块进行集成
-
多元的工作模式,可兼容线性、原始/压缩的HDR数据,单路及多路摄像头输入,支持超高分辨率分屏处理
-
DMA接口数据输入输出模式可配,可在ISP多个节点输出不同格式的数据
-
软件API接口丰富,图像效果调试流程简易、清晰
-
提供丰富的软硬件参考设计,如标定工具、调优工具和MIPI转DVP数字电路等
与AI处理器结合,达成AI+ISP的强大效果
安谋中国做每一款处理器 IP 时,一直贯彻可配置化、可定制性的原则; 如之前的“星辰” CPU 有用户自定义指令集、“周易” AIPU 会有自定义的算子,这款”玲珑” ISP 产品也是一样。作为整个安谋中国产品系列的重要组成部分,“玲珑“多媒体产品系列将和安谋中国以及Arm的CPU系列、GPU系列,AI产品系列、显示产品系列等等协同,形成全面的整体系统解决方案。此次,安谋中国还表示:除了 ISP 图像处理技术之外,多媒体产品线未来也会有Video、Codec等技术相关的产品。
在前期市场反馈中,“玲珑”i3/i5 ISP处理器在业界十分看重的宽动态处理效果和信噪比处理水平上表现优异。依托安谋中国领先的数字宽动态与融合宽动态结合的算法技术,“玲珑”i3/i5 ISP处理器达到了像素级的局部宽动态自适应提升,并采用多尺度、多级降噪技术,以支持2D/3D自适应降噪,达到业界领先的信噪比表现。“玲珑”i3/i5 ISP处理器同时设置了丰富的系统中断和调试接口,具有低延时、低系统带宽的特点,可对图像质量进行调优技术支持。
未来,“玲珑”ISP处理器优异的信号处理能力还可以与AI处理器相结合,在智能安防等领域达成AI+ISP的强大效果。
锁定中国市场,协助 IC 设计
为满足不同行业客户复杂多变的需求,“玲珑”i3/i5 ISP处理器将为客户提供从先期评估到最终量产的全方位技术支持。安谋中国不仅为客户提供丰富的ISP图像效果评估手段,详细的设计文档和培训支持,还将提供IP集成及后端的参考流程等深入的订制服务。
在此次“玲珑”多媒体产品线发布会上,刘澍表示安谋中国在深圳和上海的办公室建立了专业的图像和光学实验室,实验室投入数百万购置设备,在新冠疫情期间进口并帮助客户进行调试。“玲珑“ISP处理器目前已申请十余项专利,其中有5项已获得批准。由于安谋中国团队是在国内完成架构定义设计,所以安谋中国能够为客户提供本地化的支持。目前,“玲珑”i3/i5 ISP处理器均已可向客户交付。
刘澍表示:“近年来,伴随着智能化、网络化的发展,视频图像处理被广泛应用于智能安防、AIoT、智能汽车等诸多领域。受益于这些应用在中国的蓬勃发展,中国ISP市场呈现出增长迅速、需求多样的特征。为此,安谋中国组建本土团队,历时2年多自主研发出具有业界领先水平的‘玲珑’i3/i5 ISP处理器。在研发过程中,我们始终聚焦中国客户需求,持续推动方案的演进迭代,不仅凸显了安谋中国在ISP领域一流的研发实力和技术储备,也进一步提升了安谋中国对本土客户快速响应、全面支持的技术保障能力。
从长时段的维度来观察,安谋中国积极研发自研IP产品线,可能为安谋中国布局“芯”格局的重要一步。安谋中国先后发布了人工智能处理器平台“周易”、物联网设备信息安全方案“山海”、以及面向物联网设备的轻量级实时处理器“星辰”,再加上此次”玲珑”ISP处理器的面世,一颗片上系统芯片(SoC)需要的几大件都亮了出来。不过,安谋中国表示将始终坚持做一个技术起点的角色,协助 IC 设计公司打造属于自己的芯片。
+
更多精彩
专题
锐评辛 #MFI
MFI认证,苹果的配件霸权
MFI认证:配件大厂品胜与苹
果的恩恩怨怨
MFI认证:束缚还是保障?贪婪
还是负责?