在 AWS、Azure 和谷歌云上，或在边缘、AMD、Arm、英特尔和 Nvidia 硬件上对您的机器学习模型进行基准测试和部署。 提高性能，并使用开源框架，例如 ONNX Runtime、TensorFlow、TensorFlow Lite 和 TVM。
简而言之，这就是 OctoML 的产品。 我们认为它描绘了当今 AI 应用程序部署领域的代表性图景，该领域也称为 MLOps。 我们已将 MLOps 确定为持续向机器学习驱动的应用程序转变的关键部分，并在 2021 年 3 月的 B 轮融资之际推出了 OctoML。
今天在 TVMcon 2021 上发布，该会议围绕用于机器学习加速的开源 Apache TVM 框架召开，OctoML 的新版本带来了许多新功能。 我们采访了 OctoML 首席执行官兼联合创始人 Luis Ceze，讨论了 OctoML 的进展，作为 MLOps 总体进展的代表。
超出预期
在这份进度报告中首先要注意的是，OctoML 已经超过了 Ceze 在 2021 年 3 月设定的目标。Ceze 当时指出，公司的目标是增加员工人数、扩展到边缘并取得进展 在已经支持的推理之外，增加对训练机器学习模型的支持。
所有这些目标都在某种程度上实现了，ZDNet 自己的 Tiernan Ray 最近对训练机器学习模型的支持进行了深入介绍。 Ceze 表示，OctoML 在这方面取得了良好进展，路线图是在 2022 年的某个时候在 OctoML 平台上发布它。
从未被列为目标，但无论如何发生的是另一轮融资。 这发生在 2021 年 11 月，OctoML 在 C 轮融资中获得了 8500 万美元。 正如 Ceze 所说，这是时代的标志。 最近，我们几乎忘记了人工智能领域看似永无止境的融资轮数。 Ceze 表示，虽然 OctoML 不打算筹集更多资金，但他们认为这将帮助他们更快地发展。
他们确实成长了。 OctoML 在招聘方面超出了其目标，现在员工人数超过 100 人，并且还在不断增长。 这是值得注意的，因为很难找到 OctoML 正在寻找的机器学习和硬件专业知识的组合。 让我们看看 OctoML 还完成了什么，以及它今天宣布的新功能。
首先，它扩大了部署目标的选择范围，包括 Microsoft Azure 目标支持。 OctoML 现在提供跨越所有三大云的选择，包括 AWS 和谷歌云平台，AMD 和英特尔 CPU 以及 Nvidia GPU 作为每个云的目标选项。
有趣的是，OctoML 最近也发布了一些使用 Apple M1 处理器的实验。 我们询问 Ceze 是否会支持它，以及对 Blaize、Graphcore 或 Samba Nova 等新兴硬件供应商的支持是否也在路线图上。
Ceze 回答说，M1 练习的目标是表明 OctoML 可以轻松地装载任何硬件目标，无论是与供应商合作还是独立完成。 将在市场驱动的基础上添加对 M1 或任何其他硬件目标的支持。 大多数新兴供应商都知道 OctoML，他们中的许多人希望公司与他们合作或自己合作，他继续补充道。
OctoML 正在扩展其支持的另一个方面是边缘。 OctoML 现在支持 Nvidia Jetson AGX Xavier 和 Jetson Xavier NX 以及使用 32 位和 64 位操作系统的 Arm A-72 CPU。 Ceze 也证实了我们一直注意到的情况——对边缘机器学习应用程序的需求正在大幅增长。
更多加速引擎，更多选择
在软件方面，OctoML 宣布扩展模型格式支持，包括 ONNX、TensorFlow Lite 和多种 TensorFlow 模型打包格式，以便用户无需转换即可上传训练好的模型。 但这还不是全部。
此外，除了 OctoML 的“原生”TVM 支持之外，现在还支持相应的新加速引擎——ONNX Runtime、TensorFlow 和 TensorFlow Lite。 Ceze 说，这样一来，用户就可以比较和对比并选择他们想要使用的产品。
这与之前开源 Apache TVM 项目和 OctoML 产品之间的紧密耦合有所不同。 本质上，OctoML 提供了 TVM 的软件即服务版本。 现在，OctoML 在加速引擎方面也提供了额外的选择。 Ceze 指出，用户现在能够对其工作流程进行非常全面的基准测试：
“你上传模型，然后你可以在一个单一的工作流程中选择你想要的硬件目标，可以针对所有云或特定的边缘目标。然后我们进行优化或调整打包基准并提供这些全面的数据来帮助 您可以决定如何在云或边缘设备中进行部署”，Ceze 说。
此外，OctoML 现在带有他们称之为“预加速模型动物园”的东西。 换句话说，机器学习模型的集合，包括计算机视觉（对象分类和图像检测）集，包括 Resnet、YOLO、Mobilenet、Inception 等，以及包括 BERT 的自然语言处理 (NLP) 集 、GPT-2 等。
就 Apache TVM 社区而言，Ceze 指出与去年相比增长了 50%，而且势头并未放缓。 Ceze 还提到了一些采用 OctoML 的有趣用例，包括 Microsoft Watch For 和 Woven Planet Holdings。
总而言之，考虑到 OctoML 的 B 轮融资仅 6 个月，增长就非常显着。 我们将其视为 MLOps 整体增长的例证，我们预计在可预见的未来，这将继续沿着这一轨迹发展。
