MLPerf最新发布人工智能推理基准的首个结果

（文章来源：教育新闻网）

如今，人工智能无处不在。SoC供应商不得不屈服于将这些功能融入其产品中。从市场顶部的英特尔和Nvidia到高通，谷歌和特斯拉，每个人都在谈论开发新芯片来处理与人工智能和机器学习有关的各种工作负载。

尽管这些公司在各种测试中展示了自己的产品并取得了骄人的成绩，但仍需要独立第三方可以用来比较和评估芯片的工具。MLPerf是数十名开发人员，学者以及来自涉及AI / DL各个方面的许多公司和组织的有兴趣的个人的共同努力。该项目的目标是创建一个可用于评估各种潜在产品和用例的测试框架。

在这种情况下，我们正在讨论推理，而不是训练。推理是将模型应用于任务。培训是指首先创建模型。模型通常在高端PC，服务器或等效的HPC群集上进行训练，而推理工作负载可以在从手机到高端服务器的任何设备上运行。

根据推理基准开发共同主席David Kanter的说法，MLPerf的设计团队已经确定了他们评估的四个关键方案。边缘设备(例如手机)专注于一次从一个流中读取数据。这些设备强调低延迟，并以这些标准为基准。下一类产品可一次读取多个数据流，例如带有八个独立摄像头的特斯拉。在这些情况下，系统在可接受的延迟范围内处理所有相关数据流的能力变得很重要。

在后端，存在一个问题，即服务器是否可以在定义的响应范围内每秒保持足够数量的查询，而“脱机”测试则用于照片排序等没有时间维度的任务依附于他们。从概念上讲，这四个任务把预期使用推理的区域括起来。

MLPerf将允许用户在封闭和开放部门中提交基准测试结果。封闭的部门将对其提交和测试有更严格的规定，而开放的部门将允许更多的实验和定制。我特别喜欢的一个小功能是MLPerf结果的分类方式。共有三类：可用，预览和RDO(研究，开发，其他)。可用表示您今天可以购买硬件，预览意味着您可以在180天内或MLPerf的下一个版本开始之前购买该硬件，RDO用于非常规生产的原型和系统。这种区别将使用户了解应该比较哪些硬件平台。