Nvidia 周二推出了其广泛使用的第八代 TensorRT，宣布该人工智能软件的功能和准确性是其前身的两倍，同时将语言查询的推理时间缩短了一半。
Tensor RT 被数百家公司用于搜索引擎、广告推荐和聊天机器人等领域。 Nvidia AI 软件产品营销团队负责人 Siddharth Sharma 周一告诉记者，该软件已被下载超过 250 万次，并被美国运通、Verizon、LG、福特、SK 电讯、KLA、Naver 等公司使用 、GE Healthcare 和 USPS。
“TensorRT 8 的功能是 TensorRT 7 的两倍，准确度是 TensorRT 7 的两倍，而且它支持稀疏性，可以显着减少运行应用程序所需的计算量和内存量，”Sharma 说。
“有了这一成就，你现在可以在一毫秒内部署整个 Bert-Large。这是巨大的，我相信这将导致全新一代的对话式 AI 应用程序。智能水平，延迟水平是 前所未闻。”
Sharma 解释说，TensorRT 8 的优化还允许“语言应用程序的创纪录速度，在 1.2 毫秒内运行 BERT-Large，这是世界上使用最广泛的基于变压器的模型之一。”
“在过去，公司不得不减小模型大小，这导致结果的准确性大大降低。现在，借助 TensorRT 8，公司可以将模型大小增加一倍或三倍，从而显着提高准确性，”Sharma 补充道。
TensorRT 8 现在可供 Nvidia 开发人员计划成员免费使用。 TensorRT GitHub 存储库也有最新版本的插件、解析器和示例。
Nvidia 开发人员计划副总裁 Greg Estes 表示，AI 模型正以指数方式增长，变得越来越复杂，全球对使用 AI 的实时应用程序的需求正在激增。
Estes 说，最新版本的 TensorRT 引入了新功能，使公司能够“以前所未有的质量和响应速度”向客户提供对话式 AI 应用程序。
Nvidia 表示，在过去五年中，27,500 家公司的超过 350,000 名开发人员使用了 TensorRT，Estes 指出，TensorRT 应用程序“可以部署在超大规模数据中心、嵌入式或汽车产品平台中”。
Sharma 告诉记者，TensorRT 8 独特的 AI 推理是通过稀疏性和量化实现的，这两个关键特性可以提高效率，并允许开发人员使用“训练有素的模型以 INT8 精度运行推理而不会损失准确性”。
GE Healthcare 在超声的计算机视觉应用中使用 TensorRT，GE Healthcare 心血管超声总工程师 Erik Steen 表示，该工具对于帮助临床医生加快行动至关重要。
“在超声方面，临床医生会花费宝贵的时间来选择和测量图像。在 Vivid Patient Care Elevated Release 之前的研发项目中，我们希望通过在我们的 Vivid E95 扫描仪上实施自动心脏视图检测来提高流程效率， ”斯蒂恩说。
“心脏视图识别算法选择合适的图像来分析心脏壁运动。TensorRT 具有实时推理功能，提高了视图检测算法的性能，同时也缩短了我们在研发项目中的上市时间。”
