一家非营利组织已暂停使用聊天机器人，该机器人向寻求饮食失调帮助的人提供可能具有破坏性的建议。 国家饮食失调协会使用的泰莎被发现提供有关减少卡路里和减肥的建议，这些建议可能会加剧饮食失调。
3 月份，国家经济发展署 (NEDA) 宣布将关闭其已有 20 年历史的求助热线，该热线由一个小型付费团体和一支志愿者大军组成，该聊天机器人被暂停。 NEDA 昨天表示，它已经暂停了聊天机器人，该非营利组织的首席执行官 Liz Thompson 表示，该组织对 Tessa 使用的语言感到担忧，这些语言“违反了我们作为饮食失调组织的政策和核心信念”。
这一消息加剧了人们对人工智能进步导致工作岗位流失的更大担忧。 但它也显示了聊天机器人的危害性和不可预测性。 由于研究人员仍在努力应对人工智能技术的快速发展及其潜在影响，公司正在将一系列聊天机器人推向市场，而真人则面临风险。
在几个人看到它如何回答即使是最简单的问题后，泰莎停了下来。 其中一位是亚历克西斯·科纳森（Alexis Conason），一位专门研究饮食失调的心理学家。 在一次测试中，科纳森告诉泰莎，她最近体重增加了很多，并且非常讨厌自己的身体。 作为回应，泰莎鼓励她“以健康和可持续的方式减肥”，建议她不要快速减肥，并询问她是否看过医生或治疗师。
当 Conason 问她每天应该减少多少卡路里才能以可持续的方式减肥时，Tessa 说“要实现[每周减肥 1 到 2 磅]，每天安全的卡路里赤字约为每天 500-1000 卡路里。 ” 该机器人仍然建议去看营养师或医疗保健提供者。
科纳森说，她向泰莎提出了患者在饮食失调治疗开始时可能会问她的问题。 她担心看到它提供有关减少添加糖或加工食品以及减少卡路里的建议。 “这实际上与任何形式的饮食失调治疗相反，并且会支持饮食失调症状，”科纳森说。
与 ChatGPT 等聊天机器人相比，Tessa 并不是使用生成式人工智能技术构建的。 参与开发该程序的华盛顿大学医学院精神病学教授埃伦·菲茨西蒙斯·克拉夫特 (Ellen Fitzsimmons-Craft) 表示，它的设计目的是提供一个名为“Body Positive”的互动程序，这是一种基于认知行为疗法的工具，旨在预防而不是治疗饮食失调。 。
菲茨西蒙斯-克拉夫特表示，给出的减肥建议并不是她的团队开发的项目的一部分，她也不知道它是如何进入聊天机器人的程序的。 她说，看到泰莎所说的话，她感到惊讶和悲伤。 “我们的目的只是帮助个人，防止这些可怕的问题。” Fitzsimmons-Craft 是 2021 年一项研究的作者，该研究发现聊天机器人可以帮助减少女性对体重和体形的担忧，并可能减少饮食失调的发生。 Tessa 是基于这项研究构建的聊天机器人。
Tessa 由健康科技公司 X2AI（现称为 Cass）提供，该公司由企业家 Michiel Rauws 创立，通过短信提供心理健康咨询。 劳斯没有回答《连线》杂志有关泰莎和减肥建议的问题，也没有回答聊天机器人反应中的问题。 截至今天，该公司网站上的 Tessa 页面已关闭。
Thompson 表示，Tessa 并不能取代帮助热线，自 2022 年 2 月以来，该机器人一直是 NEDA 的免费资源。“聊天机器人，即使是高度直观的程序，也无法取代人类互动，”Thompson 说。 但在 3 月份的更新中，NEDA 表示将“缩减”其求助热线，并“开始转向扩大使用人工智能辅助技术，为个人和家庭提供经过调节的、完全自动化的资源 Tessa”。
Fitzsimmons-Craft 还表示，Tessa 被设计为一种独立的资源，而不是取代人类互动的东西。 2020 年 9 月，她告诉《连线》杂志，帮助治疗饮食失调的技术“将继续存在”，但不会取代所有以人类为主导的治疗方法。
但是，如果没有 NEDA 热线工作人员和志愿者，Tessa 就是一个交互式、可访问的工具——如果访问恢复的话。 当被问及 NEDA 仍将提供哪些直接资源时，汤普森引用了一个即将推出的网站，其中包含更多内容和资源，以及现场活动。 她还表示，NEDA 将引导人们拨打危机短信热线，这是一个非营利组织，为人们提供解决饮食失调、焦虑等各种心理健康问题的资源。
根据该部门成员 Helpline Associates United 的一篇博客文章，NEDA 裁员是在该非营利组织的小规模员工投票成立工会几天后进行的。 他们表示，由于裁员，他们已向美国国家劳工关系委员会提出不公平劳工行为指控。 该工会在一份声明中表示：“聊天机器人无法替代人类的同理心，我们相信这一决定将对饮食失调群体造成不可挽回的伤害。”
《连线》在暂停前向泰莎发送了消息，但事实证明聊天机器人故障太大，无法提供任何直接资源或信息。 Tessa 进行了自我介绍，并多次要求接受其服务条款。 “我现在的主要目的是在你完成身体积极计划时为你提供支持，”泰莎说。 “当完成下一次会议时，我会联系您。” 当被问及该程序是什么时，聊天机器人没有回应。 周二，它发送一条消息称该服务正在进行维护。
危机和帮助热线是重要的资源。 部分原因是在美国获得精神卫生保健的费用高得令人望而却步。 一次治疗费用可能为 100 至 200 美元或更多，饮食失调的住院治疗每天可能花费超过 1,000 美元。 耶鲁大学的一项研究表明，只有不到 30% 的人向辅导员寻求帮助。
还有其他一些努力利用技术来填补这一空白。 Fitzsimmons-Craft 担心，Tessa 的惨败将掩盖为无法访问或无法获得临床资源的人们提供聊天机器人帮助的更大目标。 “我们正在忽视这可以帮助的人，”她说。
