MCU/传感器和AI在一起，能碰撞出什么样的火花？

shuszhao

通过Cube.AI软件功能包，现在可以用STM32微控制器产品来支持机器的人工智能/深度学习。传感器也可以更加智能化。在传感器上运用人工智能，一来可以降低整个系统的能耗，二来可以把本身的噪声、稳定性和精度做得更好。
有这么一双“魔鞋”，它传感器内部运行AI算法，能够梳理用户行走和跑步生成的数据，提供有关如何提高运动效率的建议，还能记录用户的日常运动方式和健康状况，并关联到各种健身和保险服务。这就是日本公司No New Folk Studio推出的第一款智能鞋Orphe Track，背后的功臣就是ST。

日前，在本届STM32峰会上，人工智能（AI）成为最亮眼的关键词。ST把它运用到了MCU和传感器（边缘计算）上。


MCU+软件功能包即可实现机器学习？
意法半导体微控制器事业部全球市场总监Daniel Colonna在会上指出，STM32未来规划有六点宏观趋势：价格更亲民；更安全；更多硬件加速器和更多模拟外设；更高能效比、更低功耗；更多无线连接；以及更强计算性能。

他表示，ST会不断地提升单核频率，并在双核方面推出更多产品。该公司拥有广泛的MCU产品线，现在又有了双核微处理器（MPU），Cortex-A + Linux，而能为更复杂的应用提供更好的解决方案。

st-2.png


抛开性能指标不谈，今天咱们主要看看AI在MCU和传感器上的应用。

Colonna先生指出，STM32推出之初就是想要提升大家的生产率，让大家的工作更加简单。ST非常关注于人工智能的开发。现在可以用STM32微控制器产品来支持机器的人工智能/深度学习。“深度学习就是实现神经网络模式的打造，同时能够去模拟人的大脑。STM32 Cube.AI可以实现类神经系统的打造。STM32的产品就是通过这种方式来帮助实现支持人工智能的深度学习。我们希望能够尽可能致力于人工智能方面的发展。”他指出。现在Cube.AI已经可用，使用的是浮点计算来实现数据的计算。

st-3.png


st-4.png


接下来看一下未来人工智能的示例，以及这个功能软件包包括什么东西。Colonna指出，Cube.AI软件包可实现音频和动作分析、字符识别以及图像分类。现在的字符识别和动作分析等都还非常简单，比如人类活动的识别都是根据于运动感知所做到的。今后我们会看到越来越多的沉浸式、预警性或者预防式的新的维护应用。通过STM32的机器学习，能够帮助我们实现电机的感应。在电机传感之后，能够实现异常检测，同时可以直接从关键的数据当中了解到相关的电压，以及包括电机的控制。未来这个功能包还能在视觉方面有所提升，比如性别识别、面部识别等技术。当然还有可能实现语音识别，比如声控、关键词的识别以及语境识别，能够帮助终端产品在深度学习当中不断地精进和改善。

st-5.png


从安全性角度来说，ST在一直不断地提升功能的安全性或安全架构和安全平台。在接下来的可升级扩展过程当中，也会带来更多的安全性功能，特别从基于基于Cortex的L5产品开始，可以实现强化的IP隔离，而保证产品的安全性。

传感器+AI，可以实现降低功耗和提升性能的双重好处
意法半导体大中华暨南亚区模拟器件、MEMS和传感器(AMS)产品部市场及应用高级总监吴卫东重点探讨了该公司传感器的创新之路。他指出，在IoT系统里，非常关键的一个部分就是传感器。例如，AR/VR是近年来非常热门的话题，随着现在5G时代越来越近，AR/VR的应用和体验会逐渐实现。产品里的连接技术已经非常成熟。在处理器方面也非常强劲。传感器也有着多年历史，那未来又将如何创新呢？

传感器也可以更加智能化。以AR/VR应用为例，之所以对传感器有着高需求，是因为这个产品直接连接在头部。人体是非常重要的传感器单元，而AV/VR头盔可以获取周边物理现象和信息。在拿到了这些信息的同时，如果经过智能处理，再传给主控处理，就会更简单。这就是智能传感器。

st-6.png


在传感器上运用人工智能，一来可以降低整个系统的能耗，二来可以把本身的噪声、稳定性和精度做得更好。

他介绍说，ST有一款新的六轴加速度计+陀螺仪二合一产品，有客户已经把它运用到智能穿戴的产品里。它集合了原来六轴产品所有的功能，但在上面加了一个机器学习的核，另外还有防抖的核。机器学习的核可以把一些基本的功能、常用的功能学习下来，固化在传感器里面。所带来的好处是降低系统功耗，并且利用更少的主控MCU的资源。

具体的功能来讲，第一要实现最基本的传感器的功能，同时器件通过标准的接口，可以把其他传感器的信号也一起读进来，进行数据融合。第二步要有学习的功能，要做滤波的功能，最后形成了观念，形成了判断树的功能，传感器的输出就已经不再是原来的加速度值或者陀螺仪的值，而是一些系统可直接调用的指令。

接下来看一个实例。传统穿戴产品在去做运动的时候往往要调用APP，APP会读取各种数据去做很多的处理。而带有人工智能的传感器，则可以直接在器件里去做运算。

另外，坐飞机会有所谓的飞行模式，然而有些时候用户可能忘了关飞行模式。具备人工智能的传感器，可以识别不同状态的变化，就直接可以检测到有没有类似事件的发生。


然后是音频和振动的融合。TWS真无线耳机今年成为市场爆量的产品。那为什么要把这两个传感器放在一起？可以实现什么新的功能呢？

ST-N1.JPG


加速度传感器实现语音识别，同时麦克风还是做收音功能。传统的耳机其实不能判别是否处于嘈杂环境。但是有了耳骨传导的加速度以后，不说话的时候，它可以把耳机切换到一个模式，可以让麦克风收的音不进行信号的处理，可以屏蔽掉。在风噪环境下面，只有人说话的时候，对方才会听到，如果不说话的时候，整个系统对于数字处理器来讲，可以把麦克风收的音屏蔽掉。

ST-N2.JPG


目前在市场上主流的中高端TWS耳机都已经有这样的功能。预计今年也会有很多的厂商把这样的概念放进去。

还有一个是冲击感觉，电池是主要的应用。电池本身受环境、温度的影响，在具体的使用情况下会有一定的风险，特别是受到撞击。因此加速度传感器也可以用于这类安全应用。

ST-N3.JPG


除了运动传感器，ST也有成像产品和特殊光学器件，例如ToF除了传统的手机应用，也可以用于各种智能家居以及工业类应用。成像产品则可以用于汽车中，进行汽车安全保护或者去检测驾驶员的行为状态……


ST-N4.JPG

最后他指出，ST不是单独在做传感器，而是跟其MCU生态系统相互融合。ST传感器所有的开发板，从硬件到软件到开发工具，到合作伙伴，都是完全融入在STM32的生态系统里。这样，将其融入到开发当中就非常方便。

ST的传感器种类非常丰富。作为解决方案的提供商，该公司能够提供硬件、软件和方案，并且不断地对传感器做创新。创新方案则是低功耗、高精度和智能的传感器。

最后，当小编问及为什么智能传感器可以降低功耗、提升性能时，吴总解释说，传统、普通的传感器就是把数据采集下来，报到主控那边去运算和执行。这个过程考虑到系统的功耗和延时。边缘的概念是说，产品内部的传感器收到信号以后，可以自行处理一部分特定的应用，例如计步、检测不同的运动状态，或是飞行模式/地面模式等等状态，这些都可以找到一定的规律。

我们只要采集到原始数据，用机器学习模型学习好，把学习出来判断的依据再写到传感器里，传感器就可以有执行层面，不需要用到整个处理器去处理，在机器内部通过内置的固定状态机就可以去判断。基本原理就是如此，通过这样可以考虑到在本体上去运作，比在处理器上运作的功耗小。

未来如果很多应用需要各方面到极限的话，延时也是一个问题，因为不一定是计算能力差，可能是传输花时间。传1M数据和传1K所花的时间是不同的，传1M原始数据肯定会花更多时间，但其实只传1K的结果就可以了。

roygu

eason86

    

bidezhi7777

            

燊

感谢分享

ask1680

zengfanlong

  

bboyjunzi

panups

  

小丫