ReRAM:激发机器学习新活力

似水流年 · 发表于 2020-9-4 08:24:36

ReRAM:激发机器学习新活力

最近一项使用Weebit纳米硅氧化物(SiOx)的ReRAM技术的研究描绘了一种大脑启发的人工智能(AI)系统，它可以执行无监督的学习任务，并获得高精度结果。

这项工作是由米兰理工大学的研究人员完成，并在最近与该公司的联合论文中提出，该论文详细介绍了基于Weebit的SiOx ReRAM的新型人工智能自学习演示。闪存技术被认为是取代NAND技术的主要候选者，因为它的速度可能比NAND快1000倍，能耗也比NAND低1000倍，同时运行时间也比NAND长100倍。Weebit的SiOx ReRAM之所以吸引人，还因为它可以利用现有的制造流程。

一些研究机构也关注着ReRAM在人工智能方面的应用。该大学开发了一种硬件设计，利用Weebit的ReRAM将卷积神经网络(CNN)的效率与脑激发脉冲神经网络(SNN)的可塑性结合起来，使硬件在学习新事物时不会忘记之前获得的经过训练的任务。此外，系统对运行频率进行了调整，实现了节能，为自主AI系统的终身学习提供了可行的解决方案。

Weebit的ReRAM单元由两层金属组成，两层金属之间有一层氧化硅(SiOx)，其材料可用于现有的生产线。

Daniele Ielmini教授和他的团队研究了人工神经网络(ANNs)在不忘记训练过的任务的情况下获取新信息的能力，它们比人类的目标识别能力要好。该团队基于SiOx重路由的推理硬件能够融合卷积神经网络的效率和尖峰网络的可塑性。在接受采访时，Ielmini表示，该研究表明，此电路可灵活地调整操作频率以节省电能，并能在高达50%的非培训课程中持续学习。这优化了分类，使过滤器的再训练成为可能，从而克服了标准ANN的遗忘过程。

Ielmini表示，到目前为止，人工智能硬件最大的挑战是它所能学习的东西受到限制。例如，如果硬件被训练识别某些数字，它只能识别它被训练的数字，而不能识别任何额外数字。同样，它也不能自己识别字母，因为它接触的是数字。

这项研究的目的是开发一种基于ReRAM的可以持续学习的新硬件，结果显示，基于已有的知识，他们推断可以多学习50%。例如，它可以训练硬件识别100个数字，而且它可以在没有训练的情况下识别额外100个数字。“这正是我们学习东西时大脑的运作机制。”

基本上，当大脑看到它能识别的东西时，有一个神经元代表目标。神经元每次放电，都会消耗能量。因为大脑想要高效能，内部反馈降低了神经元产生峰值的阈值，这最终允许终身学习，我们的研究人员可以用他们的硬件模拟使用ReRAM，同时在系统内实现高能量效率。“这是当今人工智能硬件的一大限制。”

首席执行官Coby Hanoch表示，Weebit Nano对在米兰取得的成绩并不感到意外，因为该公司已经与Ielmini及其团队密切合作了三年多。“对我们来说，重要的是要证明我们的SiOx ReRAM不仅可以作为高级内存，还可以用于其他高级应用。” Weebit Nano一直坚信ReRAM在神经形态应用和其他高级应用方面具有巨大潜力。

该公司与许多研究人员就重新运行的潜在应用进行了合作。Hanoch介绍，Polimi研究公司的这项研究增加了当前人工智能系统的可塑性。“如今人工智能的常见方法是基于监督学习，你必须花费大量精力来训练系统，而一旦训练完成，它只能执行它被训练的任务。”然而，人类的大脑无需大量训练就能对物体进行分类，因为它具有可塑性，能够仅从少量图像投射出来。

ReRAM制造商Crossbar是SCAiLE联盟的创始成员之一，该联盟旨在创建使用这种记忆技术的人工智能平台

Hanoch表示，虽然Weebit Nano继续看好神经形态应用的潜力，但作为一家商业公司和预付费初创企业，公司仍将重点放在通过将嵌入式产品推向市场和开发离散的ReRAM产品来获得初始收入。 “尽管如此，我们正在为未来做准备，神经形态系统将成为半导体行业的游戏规则改变者。”“谷歌、Facebook、微软和英特尔等公司都在这一领域投入了大量精力，因为他们相信这一领域的巨大潜力，需要改进目前的ANN系统，因为它需要在云上大规模部署HW，而且耗电量非常高。”

Weebit已经申请了几项专利，专注于SiOx ReRAM的制造、优化和编程技术，用于内存应用和设计创新。“这种回放设备也将成为未来基于回放的神经形态系统的基础。”

最近与法国研究机构和长期合作伙伴Leti合作的一项专利，定义了在ReRAM中实现健全的多级存储的一种有效方法，该方法允许每个单元存储多比特的能力。这反过来在不增加内存单元或内存阵列大小的情况下增加内存存储容量，使内存更经济有效。虽然该方法是基于Weebit Nano的SiOx-based ReRAM，但它也可以扩展到任何ReRAM技术。“我们相信我们的专利将被许多想要实施MLC的ReRAM公司所要求，” “即使是那些不用它就可以实现MLC的人，如果他们想实现更多的级别，也很可能需要实施这样的方法。”

Weebit并不是唯一一家探索ReRAM在人工智能方面潜力的公司。2019年初，名为SCAiLE(可升级AI for Learning at the Edge，包括重新路由制造商Crossbar)的联盟成立，他们计划创建使用重新路由的AI平台。