Syntiant如何利用孵化器和Arm生态系统进行AI开发

似水流年

Syntiant如何利用孵化器和Arm生态系统进行AI开发



Syntiant成立于2017年，联合创始人兼首席执行官Kurt Busch经历了一个激动人心的时刻。当他观看孩子用iPad聊天时，他看到了一个商机，就是将人工智能（AI）和机器学习（ML）创新带入语音激活系统，并改变它们的交互方式。

截至2021年1月，Syntiant已向市场交付了两个AI芯片，出货量超过1000万个，其技术已在Amazon Alexa上获得认证，并在CES上获得殊荣。不到四年，该公司就从包括亚马逊，应用材料，博世，英特尔投资，微软和摩托罗拉在内的全球一些最大的投资者和公司筹集了超过6500万美元的风险投资。

这些事情证明了Syntiant团队的合作，愿景和专注精神，以快速，高效和具有成本效益地交付出色的产品。

让我们回到2017年，当时，每个人都渴望开发用于企业和服务器端机器学习的芯片：没有很多人在做边缘和节点的AI。但是我们看到，随着Kurt的顿悟而扩展，一个巨大的开放市场还没有人解决：端点语音的改善将把人机界面（HMI）推向新的实用水平。我们希望将我们在极端低功耗设计方面的专业知识与我们的愿景相结合，以使ML编程变得容易，并为边缘和其他电池供电的节点设备开发新技术。

更快的原型和量产开发

但是，初创企业的关键问题是如何快速有效地获得您的第一个原型和第一个量产产品。快速开发和提高生产率不仅有助于使您的技术比竞争对手更领先，而且还可以帮助您建立故事，在公司发展过程中继续向投资者讲述未来。这对我们而言更加重要，因为从一开始，我们的目标就是使我们的技术可在数百万个产品中出现。

为了随时确保我们的敏捷性，我们在早期做出了两个关键决定：首先，创始人与Evonexus建立联系，Evonexus是总部位于加利福尼亚尔湾和圣地亚哥的创业孵化器。在这里，我们可以利用办公空间，利用孵化器和投资者的网络和友善精神，建立专利组合，并以相对较低的开销和大量共享资源来对初创企业进行早期帮助。例如，如果您必须进行测试，则无需外出购买100,000美元的示波器或购买新的MATLAB许可证。您可以利用Evonexus生态系统已经具备的技术和协作。

其次，我们参与了另一个伟大的生态系统Arm。我们使用Arm DesignStart来开发我们的处理器核心。我们选择了Arm Cortex-M0并用它来控制一切，同时我们将所有的努力和专业知识投入到我们的差异化业务中：我们的神经网络。

在2017年夏天，我们的四位创始人仔细研究了ML论文，并研究了体系结构，将音频唤醒单词和关键字打造为目标应用程序。到当年11月我加入时，我们就知道了用例和网络的粗略规模。

从十一月到2018年3月发布产品，我们一直不懈地致力于设计。我们使用Arm标准的单元和内存IP首先估算器件的尺寸，确定速度，面积和功耗目标。很快我们就知道我们有一些特别的东西。

我们使用了云支持的EDA工具，因此我们不需要服务器，仅有几台笔记本电脑和互联网连接。当时我们还不知道，但是这次经历为我们准备了如何在2020年初疫情关闭办公室并迫使我们在家中工作时，要成为一家更大的公司。我们没有错过任何一个节奏。

精确的唤醒字，命令字和事件检测，功耗几乎为零

有了我们的第一个产品，即基于Syntiant Core 1（我们的神经网络核心）的NDP100，我们设置了现实的精度目标，并在设计中使用了近内存计算。我们通过仔细分析数据在何处以及如何移动的方式来进一步优化性能，以实现低延迟和芯片占用空间的考虑。我们竭尽所能确保设备通过机器学习正确地解决问题。我们以接近零功耗的小型封装提供了准确的唤醒字，命令字和事件检测。超低功耗AI处理可为几乎所有电池供电的设备（从耳塞到笔记本电脑）提供始终开启的语音控制。

除了我们的应用目标之外，我们还希望简化ML的部署，使ML算法科学家能够直接从TensorFlow迁移到我们的设备中。换句话说，这使得在我们的设备上进行训练和导入变得非常容易。我们之所以能够实现这一目标，是因为我们的软硬件机器学习团队从一开始就协同开发。我们没有隔离彼此，因为每个功能都相互依赖。通过将我们的团队放在一起，我们可以更轻松地查看各个领域之间的差距，在这些领域中您可以实际做出使最终产品与众不同的技术突破。

此后的三年中，我们学到了很多东西，收集了可观的数据，与数百名客户进行了交谈并获得了反馈。 NDP100仍然是唤醒词用例的核心低功耗技术。使用基于Syntiant Core 2的NDP120，我们获得的Syntiant Core 1的计算能力大约是原来的25倍。我们针对某些用例提供了功能更强大的机器学习解决方案，从而扩大了我们的最初工作，并深入研究了一些功能更强大的机器学习构建模块，例如卷积网络和递归。借助NDP120，您可以在低功耗的端点设备上实现更复杂的ML结构。

甚至在芯片还没回来之前，我们就已经在我们的云基础架构中通过完全的硬件和软件集成运行了数千个仿真。我们的开发板基于Raspberry Pi平台构建，因此我们可以为世界各地的工程师提供远程访问。NDP120原型到达我们实验室的一个小时后，它就识别出我们的Amazon Alexa唤醒词包。我认为我在半导体领域的25年经历中没有看到过这么快的成长。我们说我们训练刻苦，战斗轻松，对吧？好吧，我们为NDP120进行了非常艰苦的训练。

通过Arm灵活访问计划（Flexible Access）扩大我们的参与度

我们的努力和专注取得了回报。在2019年夏天，NDP100获得了亚马逊认证，可用于Alexa唤醒词设计，然后NDP120在1月被授予CES 2021创新奖。

展望未来，我们的团队将充分利用这一动力。我们计划通过加入Arm灵活访问计划来扩大与Arm的合作。当我们想要构建功能更强大的应用处理器时，我们只需从Flexible Access中获取IP并开始构建组件，确保我们可以完成所需的系统设计。没有冗长的合同谈判或访问挑战。它仅允许我们进入并与IP一起工作，以找到适合我们应用的方式方法。

当我们在人与机器之间架起更牢固的桥梁时，这些工具对于作为创新者的我们来说是令人兴奋的。我们已经从NDP100中由12人组成的处理唤醒词的团队转移到了由70多个人组成的全球团队，提供了NDP120来处理更强大的远距离语音和多传感器用例。我们正在扩大机器的听觉能力，并使其与用户的互动更加牢固。您将与您的设备进行对话，并在终端上进行操作，因此它不必竞争云计算资源。这样可以减少延迟，加快结果并维护您的数据隐私。

仅仅三年多的时间，这要归功于一个年轻的孩子在与机器聊天时所获得的简单灵感。展望未来，可能性确实是无限的。