人工智能有了新的机器学习测试基准

shuszhao · 发表于 2018-5-8 08:53:37

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区

您需要登录才可以下载或查看，没有账号？立即注册

×

Google、百度与哈佛大学、斯坦福大学连手为机器学习定义了一套新的测试基准——MLPerf，初期将专注于各种系统的训练任务，未来还将进一步扩展至推论以及执行于嵌入式客户端系统等。
Google、百度(Baidu)与来自哈佛大学(Harvard University)、斯坦福大学(Stanford University)的研究人员合作，连手为机器学习(machine learning)定义了一套新的测试基准(benchmark)——MLPerf。目前，包括AMD、英特尔(Intel)以及两家人工智能(AI)新创公司和另外两所大学都表示支持MLPerf，最初版本预计将于8月份投入使用。
当今的硬件在执行神经网络作业时还无法达到业界所期望的性能标准。因此，一连串新的加速器陆续出现在市场上，但相关产业却缺乏有效测量其性能表现的方法。
为了填补这一空白，MLPerf的第一个版本将专注于各种系统的训练任务，包括从工作站到大型数据中心；这方面的任务一直是Google和百度等网络巨擘的最大痛点。后续发布的版本将延伸至推论任务，最终并扩展至包括执行于嵌入式客户端系统的版本。
百度深度学习资深研究员Greg Diamos举例说，以训练模型的大小及其数据组合来看，“为了训练我们真正想要执行的一种模型，大约需要以我们所有的GPU执行约两年的时间。”
Google Brain计划的主任工程师Peter Mattson在5月2日的MLPerf发布活动中说：“如果系统变得更快，我们就能更快地释放机器学习的潜力。”
可在各种AI架构上执行的套件早期版本将在3个月内准备就绪。届时，该组织的目标在于召集工作小组并打造出更完整的版本。
Mattson说：“我们最初称其为版本0.5……这是经由一支研究小组完成的，现在我们希望开发社群能够成功打造版本1.0，使其成为人人都能拥有的东西。我们鼓励各种反馈…提出有关工作负载、基准定义与结果的建议，让我们能迅速更新”基准。

登录/注册后可看大图

MLPerf的支持者与竞争者
大约有来自6家芯片公司、4家数据中心营运商与4所大学的35人都受邀参与了4月12举行的秘密会议，先行审视了有关MLPerf基准的计划。从那时起，组织者们开始努力争取更多支持者。
其他宣布支持MLPerf的单位还包括加州大学伯克利分校(UC Berkeley)、明尼苏达大学(University of Minnesota)和多伦多大学(University of Toronto)，以及两家AI新创公司SambaNova和Wave Computing。
去年12月，服务器效能评测标准组织“事务处理效能委员会”(Transaction Processing Performance Council；TPC)宣布正在组建一个定义AI基准的小组。Mattson说：“在此领域的几个基准如今都参与了我们的计划……为此领域聚焦于一个共同的基准，可望带来长期的效益。”
中国搜寻巨擘百度最早采取行动，率先在2016年9月就发布了DeepBench，这是一个开放源码的底层测试基准，使用其工作负载进行训练。Diamos表示，该公司现在将专注于针对应用层级性能的MLPerf。.
Diamos解释说：“DeepBench专注于底层的编程接口，因为它们可以跨硬件移植，但为了取得更准确的指标，我们必须评估完整的应用程序(App)”，以及来自许多公司的工作负载。
最初，MLPerf将测量训练模型的平均时间到最低限度的质量表现，可能以小时为单位。有鉴于这些工作是在大型服务器数组上执行的，可能不会回报每瓦性能。只要价格不至于随着运行时间进展而变化，就会将工作成本纳入考虑。
Nvidia的P100 Volta芯片将是该基准的一项参考标准，因为它已经广泛地被数据中心用于训练了。该组织打算每3个月更新一次发布的结果。
MLPerf将使用两种模式。针对商业用户的封闭衡量指针将会指定一种使用模型和数据集，并限制关键参数(如批次大小)的值；针对研究人员的开放指标则设限较少，让用户能试验该新途径。