ISP+可拓展算力组合，飞凌微实现图像传感器与SoC之间更好的融合

当前端侧AI正在快速落地推进，而智能车载领域尤为活跃，特别是在国内市场，智能车载的快速发展引人注目。据Yole预测，2023年至2029年，全球车载摄像头市场规模将从57亿美元增至84亿美元。但目前车载视觉系统方案尚未统一，既有大域控制架构的探索，也有分布式架构的应用。而在分布式架构的应用场景中，面临的主要挑战在于如何更好地融合图像传感器与SoC，以实现性能与成本的最佳平衡。此外，在技术层面，需要通过更先进的平台工具和AI加速技术，结合图像性能优化手段，推动技术的迭代与升级。

作为思特威的子品牌——飞凌微已经敏锐捕捉到了这一市场契机，在结合思特威的优势图像传感器的技术积累上，为业界带来了高性能ISP、轻算力视觉处理SoC芯片和高算力视觉处理SoC芯片三款产品，旨在通过ISP+可拓展算力组合，为客户实现图像传感器与SoC之间更好的融合。

在近日召开的E维智库第12届中国硬科技产业链创新趋势峰会暨百家媒体论坛上，飞凌微首席执行官、思特威副总裁邵科带来了题为《新一代端侧SoC与感知融合方案，助力车载智能视觉升级》的演讲，和记者分享了端侧AI的发展前景以及飞凌微的最新技术和产品。

端侧AI蓬勃发展，视觉处理需求日益提高

过去十多年来，端侧AI技术蓬勃发展，尤其在视觉应用和神经网络两个领域的突破尤为显著。视觉类产品从最初的安防监控扩展到如今的消费类设备，如智能手机、家庭摄像头和智能门铃。机器视觉技术的应用也日益广泛，从扫地机器人到人脸支付，视觉技术已渗透至日常生活的每一个角落，丰富了人们的体验。

与此同时，神经网络和AI算法的快速发展为端侧AI应用带来了全新的可能性。随着AI算法的逐步成熟，许多应用场景不再依赖云端处理，而是直接在端侧完成数据采集与处理。这一模式不仅减少了数据传输的延迟，提高了系统的实时性，还在数据隐私和安全方面取得了重要进展。尤其在车载视觉等敏感领域，端侧处理保护了原始图像数据，避免了隐私泄露的风险，同时还能降低整体成本。

端侧AI的应用场景也愈加丰富，智能车载、智能家居、物联网等领域纷纷涌现出大量实践。例如，在智能汽车中，视觉技术已经显著改善了驾驶体验。车载摄像头不仅用于提供360度全景视图，还支持ADAS辅助驾驶系统和车内监控，极大地提升了车辆的智能化水平。随着应用需求的增加，对摄像头和处理芯片的性能要求也逐渐提高，高分辨率、多摄像头协作和强大计算能力成为未来发展的方向。

以智能汽车为例，视觉技术的应用十分广泛，并显著提升了驾驶体验。车载视觉传感器的使用日益增多，既用于360度影像监控，也用于ADAS辅助驾驶系统及车内监控等。随着应用的落地，对摄像头的性能要求日益提高，包括更高的分辨率和更优的成像性能，并且希望通过多个摄像头的组合实现更复杂的功能。这一发展带来了两个主要趋势：一是对图像性能的要求不断提升，二是对处理性能的需求日益增加。随着域控制器的功能愈发强大，可以接入更多的图像传感器。尽管芯片的复杂度增加，迭代速度减缓，但端侧依然具备完成高性能图像处理或视觉预处理的潜力，帮助整个系统更好地落地。

飞凌微M1系列，提供ISP+可拓展算力组合

正是基于市场需求与应用方案的深入思考，飞凌微于今年推出了M1系列，分别包括一款用于车载高性能ISP（图像信号处理器）芯片和两款用于车载端侧视觉感知预处理的轻量级SoC（系统级芯片）。

邵科表示，M1系列芯片的设计目标明确聚焦车载应用，因此在技术方案中融入了适应车载系统的独特技术，如功能安全与信息安全等关键要素，以确保在实际应用中的高可靠性与安全性。这些技术的集成为智能车载系统提供了更强的保障，并推动了车载视觉技术的进一步发展与应用落地。

飞凌微M1是一款高性能ISP芯片，支持接收800万像素的图像数据或两颗300万像素的图像数据，广泛应用于车载ADAS、影像类产品，以及近年来法规落地后的电子后视镜等领域。作为飞凌微多年自主研发的核心技术，M1能够在车载视觉采集中，满足高动态范围和优异暗光性能这两个关键要求。

首先，在高动态范围成像方面，车载环境对光线的处理提出了极高的标准。白天的强烈阳光和夜晚的车灯照射，既影响人眼对周围环境的直观感知，也直接影响算法的精确识别。M1凭借其卓越的ISP技术，与图像传感器完美结合，能够实现出色的高动态范围成像效果，确保在复杂光线条件下依旧保持高品质的图像输出。其次，暗光环境下的成像也是一大挑战，特别是在无路灯照明的道路、地下停车场等低光场景中，驾驶者对环境的清晰感知至关重要。飞凌微M1通过独特的降噪处理技术，结合AI优化的ISP算法，显著提升暗光成像效果，保障在各种严苛条件下的驾驶安全。

除了M1的高性能ISP，飞凌微还在该系列芯片中集成了轻量级的计算能力，包括CPU与NPU算力，使得该芯片在处理图像的同时具备AI应用能力。通过自研的0.8TOPS NPU，M1能够实现轻量级的AI任务处理，例如人脸识别、姿态识别等，从而赋能端侧系统具备更多智能化处理能力。

为了满足不同应用场景的需求，飞凌微还推出了M1Pro和M1Max两款芯片。M1Max的算力资源是M1Pro的两倍，能够在端侧处理更多的数据。M1Pro可用于实现车载DMS（驾驶员监控系统）或单一OMS（乘客监控系统）的功能，而M1Max则能同时接入两颗传感器，处理更复杂的场景，拓展了端侧视觉处理的应用边界。

据悉，M1系列三款新品均符合AEC-Q100 Grade 2认证及ISO26262 ASIL-B功能安全等级要求，符合严苛的车规级标准。特别值得一提的是，这三款芯片还采用了业内最小的封装形式——BGA 7mm×7mm封装。这一极小的封装尺寸不仅提升了模组的小型化设计，还为车载应用的实际落地提供了更多灵活性。

融合思特威图像传感器技术优势，赋能车载视觉应用场景多样化

结合思特威在图像传感器领域的技术积累及市场优势，飞凌微在端侧应用中融合了数字SoC技术，实现了更完善的解决方案。这种优势互补的合作，不仅提升了市场和客户体验，还增强了技术集成和服务能力。

基于这一技术框架，飞凌微已经在车载领域实现了一些落地应用。首先是在驾驶员监控系统（DMS）中，随着L2或L3级别辅助驾驶的普及，驾驶员的状态监控变得尤为重要。系统需要实时监测驾驶员的疲劳、注意力和声音等状态，并通过反馈机制提供报警或提示。这些数据不仅可以用于车内安全提醒，也可为车载域控制器提供重要依据。当前市场上存在两种应用模式：一种是集成化架构，某些新势力车企将所有图像传感器接入用户系统，其冗余算力能够高效支持驾驶员监控功能；另一种则是资源受限的电驱架构，在这类环境中，增加DMS功能会带来较大的技术挑战。针对这一需求，飞凌微提出了端侧处理的方案，直接在模组端完成视觉数据的处理，并输出已优化的有效数据，极大简化了新车功能升级的过程。特别是在欧洲，DMS已经成为强制性法规，预期未来3-5年内，这一功能在国内的普及率也将迅速提升。在这一方案中，飞凌微通过结合思特威的图像传感器与M1Pro芯片，能够高效实现DMS功能，满足车载应用的需求。

另一重要应用是舱内监控系统（OMS）。该系统最初用于商用车和运营车辆上监控乘客状态，但如今其应用已扩展到拍照、视频、手势识别等功能。这对图像传感器提出了更高的要求，需要在成像过程中同时输出RGB彩色图像和近红外（IR）图像。飞凌微通过500万像素的图像传感器和M1芯片的集成方案，能够同时满足车舱内娱乐、拍照等应用需求，并为后续算法提供IR图像支持。尤其是在国外，诸如儿童遗落在车内的监测等功能正在逐步成为法律强制要求，进一步推动了这一技术的发展。

第三个应用场景是电子后视镜。传统后视镜在白天表现良好，但在夜晚的低光环境下性能有限。随着法规的允许，电子后视镜开始逐渐取代物理后视镜，特别是在夜视性能上，电子后视镜具备明显的优势。为了实现更高的成像质量，电子后视镜方案通常需要高性能的图像传感器与ISP（图像信号处理器）结合，确保在白天和夜晚都能提供清晰的成像效果。

最后一个应用是后视摄像头的智能化升级。传统后视摄像头多用于倒车辅助，而通过端侧集成算法后，后视摄像头能够在倒车时实时检测行人和物体，提升驾驶安全性。飞凌微通过将图像传感器与端侧SoC相结合，在模组端实现了轻量化的智能解决方案，为后视摄像头赋予更多功能，进一步增强了驾驶体验和安全保障。

从车载出发，布局更广阔的端侧AI场景

端侧视觉AI应用不仅在车载领域拥有广泛的落地机会，在工业自动化、智能家居等其他行业也展现了巨大的应用潜力。飞凌微正持续开发新一代SoC产品，致力于与图像传感器深度融合，推动端侧应用在各个领域的广泛落地，全面提升人们的生活品质。“我们现在已经在开发第二代的产品，考虑到多模态的应用包括不同传感器的输入、语音跟视觉的组合等等，这是可以用得上去的。同时，也是考虑在端侧的应用，它的算力可能会更大一些。”邵科透露到。