传感器和AI相结合，ST智能传感器助力未来可持续的虚实交融生活

2019年ST就推出了集成自家ML内核的传感器，这在当时确实是业界首款。而这款产品并不是ST的浅尝辄止，而是开启了其在AI传感器上的完整生态布局。

时间来到2023年，ST在中国召开了其首届传感器大会，支持本地端的AI计算的智能传感器成为了本次大会的焦点。在开幕演讲上，意法半导体副总裁·中国区总经理曹志平表示，我们的生活经历了从off-line到on-line的变革，以及从on-line到on-life发展，目前迈入Sustainable Onlife阶段，具备AI能力的传感器将会是构建永久在线的、虚拟交融的可持续生活的关键。

智能传感器要具备多强的计算能力，才能实现端侧AI应用？传感器和MCU/SoC之间又该如何分配数据的处理任务？带着这些问题我们有幸采访到了ST的诸多高层。

智能传感器布局：从MLC进化到ISPU

“智能传感器必须要能够实现独立的决策——通过它收集到的一些数据，能够不依赖微控制器（不管是节点级别的次微控制器，还是主SOC）独立做出决策。”意法半导体亚太区模拟器件、MEMS和传感器产品部 (AMS) MEMS及影像传感器子产品部市场及应用副总裁、智能手机创新中心负责人Davide BRUNO表示，“所以就ST本身而言，现在正在努力让传感器（不管是运动传感器、加速记仪，还是影像传感器方面）最终能够根据自己收集和感知到的数据做出独立的决策，并自动采取干预行为，从而得到预期的效果。”

通常在一个端侧系统中，会需要用到传感器、MCU和其他一些连接的功能。传感器负责采集真实物理世界的信号以及人体的相关信息，然后负责将数据传递到MCU中进行计算。MCU通过对于数据的计算分析，然后产出控制信号给到执行机构。在这其中，复杂的数据运算可能需要上传到云端进行处理和记录。

而ST在2019年推出的MLC（Machine Learning Core），则是在传感器内增加一个可重新配置的单元，被称为rPU。该rPU可以通过寄存器重新配置，能够运行一些简单的AI模型。其中FSM是用于设计逻辑连接的数学抽象。它是由有限数量的状态和状态之间的转换组成的行为模型，类似于流程图，可以在流程图中检查满足某些条件时逻辑的运行方式。FSM允许可以将一些算法从应用处理器转移到传感器中运行，从而持续降低功耗。

而在传感器峰会上，我们听到了一个更新的产品类型叫做——ISPU，即Intelligent Sensor Processing Unit。据了解，ISPU其实是早在2022年初就已经发布，这是一款内置了DSP的IMU产品，ISPU是集成在传感器的ASIC中的一个专门用于机器学习和处理器的DSP，可采用专用指令集进行编程，能够运行1位NN精度的AI算法。Davide表示，ISPU能够在边缘自动分析处理数据，并根据特定应用的需求，采取干预行为，并确保所需的精确度，从而让终端应用变得更为丰富。而这一理念可以从IMU延伸到ST所有类型的MEMS和imaging传感器当中。

意法半导体MEMS传感器产品市场经理Francesco BIANCHI表示，ISPU是意法半导体跨向人工智能领域的最大一步。目前，可以通过ISPU来帮助客户实现在他们自己的神经网络端，以及包括在他们自己的人工智能算法上的解决方案的打造。

数据分区处理，带来系统能效提升

通过在传感器中集成NN单元，像ISPU这样的产品，可以让用户的数据做到分区处理：在传感器上运行特定级别的一些数据的处理，比如说一些比较简单的或者是中等难度的数据处理；并将比较复杂的算法和比较密集强度的一些问题，留给MCU进行处理。

因为传感器上的AI算力增强而实现的这种数据分区处理，能够大大提升整个端侧系统的能效。

Francesco表示，如果从传统的系统优化的角度来说，大家都认为传感器本身就是一个低功耗的产品，是整体技术架构里面低功耗的一个部分。而对于MCU微控制器来说，因为它要进行大量数据的处理，所以它处理数据数量的高低，直接决定了它的功耗的多少。如果我们能够让一些原始数据实现本地（传感器侧）的处理，就可以帮助为微控制器留出更多的空间来进行复杂任务的处理。这是可以帮助进一步地优化系统及整体的功耗的。“更多原始数据的处理，都可以在ISPU实现本地完成。这样就能够提供更多的信息，提供更多的原数据，帮助我们和客户通过数据的方式执行更多的任务。通过这样的方法，可以帮助客户实现其解决方案极大的系统化的升级和优化。”

此外，数据分区处理还可以提高安全等级。因为通过传感器所收集到的大部分数据都是原始数据，如果采用传统意义的传感器，这些数据可能会放到云端，或者是放到应用端去进行处理。因此，这些数据如果保护不好，就会出现外泄并为第三方所获取。但如果传感器本身就能够实现对数据的一些处理的话，它就帮助降低了数据外泄的可能性。

正如Davide所讲到的，智能传感器的概念并不仅仅局限在MEMS传感器、IMU类型的传感器上，而是也贯穿到了Imagining的传感器产品布局中。意法半导体影像传感器总监Marc VASSEUR就强调到，ST的Imagine传感器可以在计算数据之间实现有效的平衡。

影像传感器的原始数据量非常庞大，要基于其进行算法开发需要花费巨大的时间——很多可供终端用户使用的算法需要花2年以上的开发时间。“所以，我们提供的算法之所以能够为客户所使用，是要确保当我们在数据处理的分区的过程当中，特别是在图像处理的过程当中，我们非常接近这个层级数据的采集，确保我们的传感器能实现有效的数据的收集，数据的处理和数据的存储。”Marc分享到。

超级传感器的融合之力，赋能未来应用

传感器除了智能化外，也存在着融合的趋势，通过多种传感器融合，一方面可以实现系统中更好的BOM和面积优化，另一方面还可以带来安全冗余的特性。Francesco将这种融合的传感器称为超级传感器：“对于任何的应用来说，如果想进一步提升它的性能，都可以考虑使用这样的多传感器融合之后的超级传感器。我们之所以称之为超级传感器。”

除了ISPU外，ST在此次传感器峰会上还介绍了一个独具特色的模块——vAFE。该类器件是在MEMS传感器上增加了一个模拟前端，从而实现了机电感知+模拟感知技术的融合。Francesco表示，通过vAFE，客户就能够有效地连接到MEMS传感器，从而能够更好地使用其内部的处理逻辑，能够更好地嫁接和外部任何的模拟器件之间的联系。

据了解，vAFE提供的信号和运动传感器的信号本质上是同步的，所以可以在传感器的边缘完成独特的上下文感知分析，从而实现低功耗和最小可能的延迟。这也同样契合ST的智能传感器的概念。集成了vAFE的产品，在体积上更具优势，非常适用于TWS耳机等可穿戴设备的应用。

传感器融合的技术和强大的AI算力结合，能够赋能诸多的新兴终端产品形态。例如针对折叠屏手机，ST就将陀螺仪和加速度计的数据相结合，然后在传感器的算法中进行融合，进而可以持续跟踪精确的屏幕开合角度、速度和位移等信息的判断。这一专利技术基于LID系列的产品，因此被称为LID角度解决方案。

Francesco表示，ST在三年前就已经开始投入在这一专利技术的研发中，目前已经进一步推出了新的传感器产品，可以支持多屏和折叠屏上的数据的传感收集和处理。

同时Francesco也表示，多传感器融合的超级传感器可以适用于多种新兴的应用，这不仅包括折叠屏手机，也包括新一代笔记本电脑等。而在XR设备上，超级传感器可以为用户呈现出一些混合现实的影像和效果；而在汽车应用上，这一技术也早就广泛使用，通过多个高精度传感器的数据进行融合，从而形成超级传感器来进一步赋能ADAS的性能。

结语

此次在北京召开的ST传感器峰会，是ST首次在中国召开的、以传感器为主题的大型峰会活动。而我们透过ST的分享，观察到了传感器技术的趋势变化。传感器已经不再是单纯的一个感知器件，而是在追求精准感知的基础上，延展出更多的和AI相关的计算、融合的功能。在端侧AI的浪潮中，传感器在系统优化层面上，可以提供更多的数据处理的价值，助力未来真正的“可持续的、虚实交融的生活”。