提供永久免费的API接口，查看更多API接口，如果您有其他免费API资源，请联系我们，造福人类。

定制开发，免费评估，免费咨询，价格便宜，售后保障，前往开发服务中心或联系开发客服中心

高通公司在MLPerf基准测试中强调了其在部分人工智能任务中的最高效率分数。

人工智能面临的最大挑战之一是执行人工智能的计算机所消耗的大量能源。一段时间以来，该学科的学者们一直在敲响警钟，提醒人们，鉴于人工智能项目的规模不断扩大，特别是那些深度学习的项目，以及它们所消耗的螺旋式计算资源，能源成本不断上升。

正如一项新的五年研究《AI100报告》所指出的，斯坦福大学上周发表的《该领域的许多人开始意识到建造如此大型模型的碳足迹》，指的是深度学习项目。

该研究断言：“环境成本巨大。

尽管可持续性问题十分紧迫，许多运行人工智能程序的芯片和系统的领先供应商更注重在原始速度方面实现性能，而不是关注能源效率。

机器学习计算性能的行业标准基准，MLPerf，周三发布了最新的供应商机器学习基准测试结果，如对象识别和自然语言处理。

与上一份报告相比，4月份提交的计算AI能源成本报告数量大幅下降。

新的基准报告MLPerf推断，版本1.1，收到了20家供应商的提交，总共超过1800份提交。其中，只有350份意见书报告了功耗测量值。

相比之下，4月份有17个组织和1994份意见书报告了864个功耗测量值。因此，从上一份报告到最近一份报告，包括功率测量在内的提交比例下降了一半以上。

监管MLPerf的行业财团MLCommons的执行董事大卫·坎特（David Kanter）说：“数字没有撒谎，这次的功率结果比以前少得多。”，当被问及能量测量值的急剧下降时，他告诉ZDNet。

另外：人工智能的道德：人工智能的好处和风险，链接到多个随附电子表格中列出的供应商提交的详细信息。

功率测量的下降与供应商强调性能的追求直接相关，首先是要求吹牛的权利，同时将能耗放在第二位作为一个关注点。

能耗和速度方面的性能通常是折衷的：任何一个方面的优化都有损于另一个方面。芯片的电压通常会在时钟频率上提升到goose性能，但电压的提升通常会导致功耗的平方增加。

“你的最佳性能效率将在p-min，你的最佳性能将在p-max，”Kanter说，同时提到最小和最大功率阈值。

，向MLPerf报告结果的任务就像参加考试，Nvidia和其他供应商正在决定他们的努力方向。

此外：人工智能行业的性能基准MLPerf首次还测量了机器学习消耗的能量。

推理运行需要一定的时间，最短为十分钟坎特说，程序测试需要收集提交的数据。增加额外的因素，如测量功率而不仅仅是速度，会增加开销。“这确实取决于资源，”他说。

MLPerf推断1.1只是基准测试第二次包含功率测量，这是在4月份的报告中引入的。基准测试评估了机器学习的两个主要部分（所谓的训练）的计算机性能，在这两个部分中，神经网络是通过多次实验对其设置进行优化而建立的；所谓的推理，即完成的神经网络在接收新数据时进行预测。

坎特说，推理功能消耗的能量远远大于训练端，因为推理不断地为预测请求服务，然而，在程序开发过程中，离线进行的训练是一种不太频繁的活动。

“如果你看看ML是如何使用的，那么主要的功耗是在推理端，”Kanter说。这对于执行推理的电池供电设备尤其重要。MLCommons今年为这类设备引入了一个单独的性能和功率基准。

在今年提交的20个组织中，图形处理单元主导AI计算的Nvidia在大多数类别中获得最高荣誉。在最终结果中公布的46份Nvidia提交文件中，只有5份附有功率测量。

这意味着Nvidia发布的提交文件中有11%附有功率测量，是供应商发布提交文件的总体平均值22%的一半。多家供应商使用Nvidia技术提交了意见书，其中包括戴尔，其中一些包括功率测量。

性能与功率的权衡取决于供应商如何使用工程师有限的资源，即使对于拥有大量工程师的Nvidia这样的公司来说，这也是一个问题。

Nvidia的AI和cloud高级产品经理Dave Salvator告诉ZDNet，“你正在让你的工程师全天候工作”以获得提交给MLPerf的测试结果。他说：“衡量性能是一系列挑战，你需要处理我们需要多少时间来衡量性能和功率。在很多情况下，我们决定将重点更多地放在性能方面，而不是电源方面。”

Nvidia表示，它在强调性能和在广泛的人工智能任务中显示效率方面取得了正确的平衡s、

Salvator指出，Nvidia的结果表明，该公司在提供领先性能方面“迈出了最好的一步”，而且在大多数情况下，每瓦的性能也更高，称为计算效率。“我们在所有方面都显示出领先的性能，以及我们认为涵盖了大量使用的效率。”

当被问及MLPerf是否可以做些什么来减少使功率报告被搁置一旁的权衡时，Salvator回答，“这是个好问题；我们一直在寻找有趣的提交方式，不仅仅是数量，还包括质量。”

Salvatore补充道，Nvidia推出了“在效率方面非常有趣的新产品，您可能会看到我们在这方面提供了强大的提交。“

移动芯片供应商高通公司（Qualcomm）在执行推断功能的边缘设备方面向Nvidia发起了挑战，该公司报告的提交功率测量数据的比例要高得多，为18份中的8份，占44%，四倍于Nvidia的提交比例。

尽管高通公司在最高绩效得分方面远远落后于Nvidia，但它在能效方面取得了一些显著的胜利。包含16块“Cloud AI 100”加速器芯片的高通公司系统在久负盛名的Resnet-50神经网络图像识别测试中的速度比8芯片的Nvidia A100系统快了三分之一，尽管其能耗降低了25%。

这一成就使高通公司吹嘘其芯片具有“最高效的人工智能推理解决方案。”

高通公司MLPerf工作的首席执行官、产品管理高级总监John Kehrli在谈到功率测量时表示，“我们非常高兴本次论坛考虑到了这一点，我们认为这很重要，我们将继续关注这一点。“

当被问及功率测量是否因为提交的数据太少而过时时，MLPerf的Kanter回答说，“如果我们真的没有收到任何功率提交，那么我们所做的不是增加价值。”他建议，这可能意味着需要重新思考如何测量功率。

同时，Kanter说，这是一个问题“质量高于数量。”

“最终，MLPerf是帮助引导行业协调一致，帮助客户了解该做什么，帮助设计师了解该做什么，”坎特说，“只要我们在为该功能服务，它就很重要。“

人工智能硬件先驱Cebras与云供应商Cirrascale合作扩大访问范围

NoSQL支持者Couchbase的股票暴跌，因为第二季度利润未达到预期

UiPath第二季度财报结果，提高了经常性收入视图

DocuSign首席执行官斯普林格：别担心，我们仍在强劲增长

2023-03-22 10:04:44