最近，关于 OpenAI 的 ChatGPT 程序在响应人类提示时生成自然语言话语的巨大前景，已经流传了很多墨迹。
该程序给许多人留下了深刻的印象，因为它是如此新鲜和有趣，以至于 ChatGPT 在宇宙中必须是独一无二的。
“就底层技术而言，ChatGPT 并不是特别创新，”Meta 的首席人工智能科学家 Yann LeCun 上周在 Zoom 的媒体和高管小型聚会上说。
“这不是革命性的，尽管这是公众对它的看法，”LeCun 说。 “就是这样，你知道，它组合得很好，做得很好。”
LeCun 说，过去许多公司和研究实验室都建立了这种数据驱动的人工智能系统。 他说，OpenAI 在其工作类型中独树一帜的想法是不准确的。
另外：人们已经在尝试让 ChatGPT 编写恶意软件
“与其他实验室相比，OpenAI 根本算不上什么特别的进步，”LeCun 说。
“不仅仅是谷歌和 Meta，还有六家初创公司基本上拥有与它非常相似的技术，”LeCun 补充道。 “我不想说这不是火箭科学，但它确实是共享的，如果你愿意的话，它背后没有秘密。”
LeCun 指出，ChatGPT 及其构建程序 OpenAI 的 GPT-3 以多种方式由多方多年开发的多项技术组成。
“你必须意识到，ChatGPT 使用以这种自我监督方式进行预训练的 Transformer 架构，”LeCun 观察到。 “自我监督学习是我长期以来一直提倡的，甚至在 OpenAI 出现之前，”他说。
“变形金刚是谷歌的一项发明，”LeCun 指出，他指的是谷歌在 2017 年推出的语言神经网络，它已成为包括 GPT-3 在内的大量语言程序的基础。
LeCun 说，此类语言项目的工作可以追溯到几十年前。
“大型语言模型，第一个神经网络语言模型——在当时，它很大，按照今天的标准，它很小——大约 20 年前由 Yoshua Bengio 提出，”LeCun 说，他指的是加拿大 MILA 的负责人 人工智能研究所。 Bengio 关于注意力概念的工作后来被 Google 采纳用于 Transformer，并成为所有语言模型中的关键元素。
此外，OpenAI 的程序还广泛使用了一种称为通过人类反馈进行强化学习的技术，该技术让人类代理帮助对机器的输出进行排名以改进它，就像谷歌的网页排名一样。 他说，这种方法不是在 OpenAI 开创的，而是在谷歌的 DeepMind 部门开创的。
“所以这有一段完整的历史，这并不是凭空而来的，”LeCun 说，意思是 ChatGPT。
另外：OpenAI 的 ChatGPT 非常擅长我的工作
LeCun 表示，ChatGPT 项目与其说是科学突破的案例，不如说是体面的工程案例。 他将该程序与 2011 年参加游戏节目 Jeopardy! 的 IBM Watson 计算机以及赢得 DARPA 2005 年大挑战赛的企业家 Sebastian Thrun 的自动驾驶汽车进行了比较。 Thrun 的获奖技术“在基础科学方面并不是特别创新，”LeCun 说，“它只是设计得非常好。”
“这就是 OpenAI 所做的事情，”他说。 “我不会为此批评他们。”
LeCun 受邀发表了由 Collective[i] Forecast 主持的一个半小时的演讲，Collective[i] 预测是一个在线互动讨论系列，由 Collective[i] 组织，自称是“旨在优化 B2B 销售的人工智能平台”。
LeCun 在纽约时报记者 Cade Metz 的座谈会上回答了一个问题，就 OpenAI 发表了这番言论。 Metz 问，LeCun 建立的 Meta 的 AI 团队 FAIR 是否会像 OpenAI 那样在公众心目中获得突破。
“我们会从 Meta 看到这个吗？是的，我们会看到这个，”LeCun 回答道。 “不仅是文本生成，还有创作辅助工具，”他说，包括“生成艺术”，他说，“我认为这将是一件大事。”
他提出，Meta 将能够通过自动制作宣传品牌的媒体来帮助小型企业宣传自己。
“大约有 1200 万家商店在 Facebook 上做广告，其中大多数是夫妻店，他们只是没有资源来设计新的、设计精美的广告，”LeCun 观察到。 “所以对他们来说，生成艺术可以帮上大忙。”
在谈话的另一点，LeCun 观察到，“你可能会问这个问题，为什么没有类似的系统，比如 Google 和 Meta，”再次提到 ChatGPT。
“而且，答案是，Google 和 Meta 都因为推出虚构的系统而损失惨重，”LeCun 笑着说。
LeCun 与 MILA 的 Bengio 和多伦多大学教授，以及谷歌研究员 Geoffrey Hinton 一起获得了 2019 年图灵奖，以表彰其对计算机科学的贡献，相当于计算领域的诺贝尔奖。 三人帮助开创了当今人工智能的深度学习时代。
OpenAI 由微软资助，微软可以独家访问这家初创公司生成的代码，并逐步将这些程序整合到其各种软件产品中，包括其 Azure 云服务。
