就像人工智能本身一样，人工智能初创公司 SambaNova 在整个堆栈中都很有趣。 从软件到硬件，从技术到商业模式，从愿景到执行。
SambaNova 登上新闻的原因有很多：备受瞩目的创始人、一系列融资轮将其推向独角兽领域、令人印象深刻的 AI 芯片技术以及非常规的包装选择。 该公司现在正在执行其目标——在企业中实现 AI 颠覆。
SambaNova 刚刚宣布了其 GPT 即服务产品，即面向客户的 ELEVAITE 会员计划，并正在与欧洲最大的银行之一合作，打造据称是欧洲最快的 AI 超级计算机。
我们与 SambaNova 首席执行官兼联合创始人 Rodrigo Liang 联系，讨论了所有这些，以及我们最喜欢的话题之一：图表以及它们如何支撑 SambaNova 的产品。
人工智能即服务
SambaNova 最近在 D 轮融资中筹集了高达 6.76 亿美元的资金，估值超过 50 亿美元，成为全球资金最充足的 AI 初创公司。 尽管这听起来令人印象深刻，但它可能不会持续太久。 成为“世界上资金最充足的 AI 初创公司”的区别，即不是资金。 经常将 AI 称为“与互联网一样大，甚至比互联网更大”的梁可能会同意：
“人们并不总是意识到在他们自己的垂直领域正在进行人工智能竞赛。想想银行、制造业、医疗保健，所有这些不同的部门，人们都在使用人工智能作为提升他们在各自部门中地位的机会。这是 整个人工智能行业。有很多真正具有颠覆性的事情正在发生，我们在其中扮演了一部分，”梁说。
SambaNova 刚刚推出了其 GPT 即服务产品，它讲述了 SambaNova 如何在企业中使用 AI。
例如，与 Nvidia 的产品形成鲜明对比的是，SambaNova 只想为客户做所有事情。 从获取模型到定制、训练，再到部署、运维。 这包括访问根据客户要求定制训练 GPT 所需的数据，Liang 说这可以通过任何需要的方式完成——在内部部署或在 SambaNova 的基础设施中。
这与 SambaNova 运送其硬件的方式是一致的：要么作为一个包含从芯片到网络的一切的盒子，要么作为一项服务。 梁说，他们多次被要求向客户出售“只卖芯片”，他们可以做到。 但该公司声称，世界上绝大多数人不具备人工智能专业知识，无法在低水平上使用芯片或软件并实施解决方案。
SambaNova 的重点是让尽可能多的财富 5000 强 (sic) 公司使用 AI 解决方案进行生产，而不是试图与尽可能多的 AI 开发人员交谈。 SambaNova 也这样做，开发人员喜欢创建新模型。 然而，Linag 的论点是，模型已经达到了“非常棒”的地步，尽管取得了渐进的进步，但价值完全取决于生产中的部署。
该论点不仅与 SambaNova 联合创始人 Chris Re 的“以数据为中心的 AI”概念一致，而且与重点转向 MLOps 一致。 至于 SambaNova 为客户提供的人工智能服务类型，Liang 表示，虽然它们可以是任何类型，但由于数据流基板可以适应任何工作负载，公司选择专注于 3 种类型的人工智能模型。
GPT语言模型是一个，高清计算机视觉是另一个，推荐模型是第三个。 该决定是由客户需求驱动的。 Liang 表示，尽管 SambaNova 的产品包括定制和维护，但其商业模式是基于订阅的，而不是基于服务的。 比埃森哲更多的销售人员。 对于服务密集型部件，SambaNova 与许多合作伙伴合作。
数据流：SambaNova 的边缘基于图形处理
Liang 表示，Dataflow 架构赋予了 SambaNova 在灵活性和性能方面的优势。 根据 Dataflow 上公开的内容，我们的印象是 Dataflow 是从软件开始设计的，更具体地说，是从编译器开始设计的。 Liang 证实了这一点，甚至将 SambaNova 描述为“一家软件至上的公司”。
那么 Dataflow 是如何工作的呢？ 如果我们考虑一下神经网络的工作原理，我们会让互连的节点进行连续的几轮计算，以查看每一轮的输出是否比前一轮产生更好的结果。 Liang 指出，你只是一遍又一遍地继续进行这些迭代。 他继续补充说，今天发生在这种类型处理中的计算就是人们所说的“逐个内核”。
Liang 指出，这会导致效率低下并增加对高带宽内存的需求，因为计算引擎和中间内存之间存在多次握手：
“作为一个计算引擎，你做了你的计算，然后你把它发回去，你让主机给你发下一个计算内核，然后你开始弄清楚，哦，我需要什么？以前的数据都存储在这里 ; 然后我会得到它。所以很难规划资源。我们不知道会发生什么。当你不知道会发生什么时，你不知道你可能需要的所有资源是什么。
我们从编译器堆栈开始。 我们要做的第一件事就是说，看，这些神经网络非常可预测。 即使对于像 GPT 这样的东西，尽管它很大，我们也提前知道了互连方式。 模型变得如此之大，以至于人眼和大脑都无法针对它进行优化。 但是编译器在这方面做得很好。
假设您允许该工具进入并展开整个图表，只看到图表的每一层、您可能需要的每个互连、部分切割所在的位置、所有关键延迟互连所在的位置、高带宽连接所在的位置。 在那种情况下，你实际上有机会弄清楚如何真正优化地运行这个特定的图表，”梁说。
Liang 继续添加当今可用的选项——CPU、GPU、FPGA——一次只知道如何处理一个内核。 SambaNova 获取计算图、所有带宽和延迟问题，对其进行映射，并将数据保存在芯片上。 保持所有这些图形和互连以最佳方式联系在一起并提前进行所有编排方式是关键。
您可以将其缩放为一个芯片上的许多图，或者您可以将一个图放入数百个芯片中——编译器不关心。 例如，SambaNova 的一些最老练的客户——在美国政府——报告说，与他们多年来优化的 GPU 结果相比，他们获得了 8 到 10 倍，有时是 20 倍的优势，Liang 说。
有趣的是，最后几次我们看到 MLPerf 的结果时，SambaNova 不包括在内。 澄清一下，这意味着 SambaNova 根本没有提交给 MLPerf。 MLPerf 测试套件是 MLCommons 的产物，MLCommons 是一个为机器学习训练和推理工作负载发布基准评估的行业联盟。 因此，显然，验证 Liang 的说法的唯一方法是试用 SambaNova。 无论如何，应该对基准测试持保留态度，证据是事情在您自己的环境中如何运作。
无论如何，我们发现 AI 芯片对图形处理的重视很有趣。 实际上，SambaNova 并不是唯一一家专注于此的 AI 芯片公司，图形处理的竞赛已经开始。
