在最新的人工智能基准测试中，Nvidia、Dell、Qualcomm 和一群初创公司带来了新颖的技术，以减少回答问题的计算预算，同时在此过程中节省电力。
这可能有助于遏制运行 AI 程序（例如 OpenAI 的 ChatGPT 和 GPT-4）的计算需求不断增长的趋势。
另外：想在 AI 领域工作吗？ 这些是你需要的技能
周二，运行 MLPerf 测试的联盟 MLCommons 展示了神经网络运行速度的最新基准测试。 Nvidia、Dell、Qualcomm 和 Supermicro 等领先供应商提交了具有各种芯片配置的计算机系统，以查看哪些系统获得了最高分。
他们竞相提供每秒可回答的问题数量最多、回答时间最短（称为延迟）或耗电量最少（能源效率）。
一群有趣的初创公司也参与其中，包括 Neural Magic、xFusion、cTuning、Nettrix、Neuchips、Moffett 和 Krai。
另外：如何使用 ChatGPT 创建应用程序
称为“MLPerf Inference 3.0”的测试结果模拟了当训练有素的神经网络被输入新数据并必须产生结论作为其输出时发生的计算操作。
该基准衡量计算机为包括 ImageNet 在内的许多任务生成答案的速度有多快，其中神经网络面临的挑战是将多个标签之一应用到描述照片中物体（例如猫或狗）的照片上。
测试结果遵循 9 月份报告的 MLPerf 推理 2.1。
MLCommons 在一份新闻稿中指出，多家供应商提交的结果显示“在某些基准测试中，性能显着提高了 60% 以上”。
对于基准测试，芯片和系统制造商竞相了解他们在诸如每秒处理的照片数量、延迟时间、发送请求的总往返时间等方面的表现 到计算机并返回一个预测。
报告的结果与在数据中心和“边缘”中运行的计算机系统有关，“边缘”一词已经涵盖了传统数据中心机器以外的各种计算机系统。 电子表格列出了数据中心和边缘的所有不同部分的结果。
结果显示更多的组织购买了基准测试。 MLCommons 表示，“破纪录的 25 家提交组织”提交了“超过 6,700 项性能结果，以及超过 2,400 项性能和能效测量”。 这高于 9 月份的 5,300 次性能测量和 2,400 次功率测量。
另：如何使用ChatGPT写代码
提交的内容分为两类：“封闭”和“开放”。 在前一类中，不同的提交者在如何运行 AI 软件方面遵循严格的规则，允许在公平竞争的环境中对系统进行最直接的比较。
在后一种情况下，允许提交者使用不符合基准测试标准规则的独特软件方法，从而产生一些新颖的创新。
通常情况下，用于运行 AI 的 GPU 的主要供应商 Nvidia 在大多数测试中都获得了许多荣誉。 Nvidia 的系统运行在两个英特尔至强处理器和八个 Nvidia 的“Hopper”GPU 芯片上，在六项不同的基准测试任务中的五项中名列前茅，其中包括运行 Google BERT 语言模型，这是 ChatGPT 的前身。 在六项任务中的一项中，戴尔系统使用了几乎相同配置的英特尔和 Nvidia 芯片，获得了最高的位置。
另外：对于 AI 的“iPhone 时刻”，Nvidia 推出了一款大型语言模型芯片
有关 Nvidia 结果的更多信息，请参阅该公司的博客文章。
该公司表示，高通能够将 BERT 语言程序的查询吞吐量提高到前 2.1 轮结果的三倍。 高通提交的使用两颗AMD EPYC服务器芯片和18颗高通“AI100”AI加速器芯片的系统在BERT任务的数据中心计算机公开赛中获得了最高分。 它的成就是每秒 53,024 次对 BERT 网络的查询吞吐量，仅略低于封闭组中英伟达的最高分。
新的参与者包括总部位于巴黎的 cTuning，这是一家非营利组织，正在为 AI 程序员开发开源工具，以在不同的硬件平台上重现基准测试结果。
另外：在最新的 AI 基准测试中，主要是 Nvidia 与 Nvidia 竞争
CTuning 在封闭类别中边缘计算基准测试中的五分之四的任务中，以最低延迟（从提交查询到答案返回的最短时间）位居榜首。
回归推理竞争者 Neural Magic 是一家由风险投资支持的初创公司，由麻省理工学院的学者 Nir Shavit 共同创立，再次带来了其特殊的软件，可以找到神经网络的哪些“神经权重”可以闲置，因此它们是 不经过计算机芯片处理，从而节省了计算需求。
该公司的 DeepSparse 软件只能使用主机处理器、英特尔、AMD 的 x86 芯片或未来基于 ARM 的芯片，而无需 Nvidia GPU 的任何帮助。
另外：AMD vs Intel：哪种台式机处理器适合您？
在边缘计算开放组的 BERT 语言测试中，Neural Magic 的 DeepSparse 软件使用两个 AMD EPYC 服务器处理器从 Google BERT 神经网络每秒产生 5,578 个响应。 这仅略低于 Supermicro 计算机在由两个 Xeon 处理器和一个 Nvidia Hopper GPU 组成的封闭组中的第二名。
该公司认为，依靠通用的 x86 芯片而不是更昂贵的 GPU 将有助于通过降低运行程序的总体成本将 AI 传播到更多的公司和机构。
Neural Magic 的产品工程负责人 Michael Goin 在接受 ZDNET 采访时说：“你可以从这种消费级硬件中获得更多。” “这些是公司已经在其商店或零售场所使用的相同 AMD 芯片，用于销售、库存和物流。”
