在人工智能 (AI) 的世界中，可解释的 AI (XAI) 在过去几年中获得了难以置信的关注。 许多人都在强调它对人工智能和机器学习的未来有多重要。
这很重要——但这不是解决方案。 解释黑盒系统决策的愿望是好的； 但仅靠 XAI 工具或方法是不够的。 如果我们想为这些系统的决策提供充分的保证，我们应该讨论如何提供“可理解的人工智能”。
由于正确的原因，XAI 现在很热门
越来越多的人工智能系统正在做出影响我们日常生活的重要决策。
从保险索赔和贷款到医疗诊断和就业，企业越来越频繁地使用人工智能和机器学习 (ML) 系统。 然而，消费者对人工智能越来越警惕。 例如，在保险领域，只有 17% 的消费者相信人工智能会审查他们的保险索赔，因为他们无法理解这些黑匣子系统是如何做出决定的。 （另请阅读：全球流行病是否改变了世界对人工智能的看法？）
人工智能系统的可解释性实际上与该领域本身一样古老。 近年来，学术研究产生了许多有前途的 XAI 技术，并且出现了许多软件公司向市场提供 XAI 工具。 但问题是，所有这些方法都将可解释性视为纯粹的技术问题。 实际上，AI 对可解释性和可解释性的需求是一个更大的商业和社会问题——需要比 XAI 所能提供的更全面的解决方案。
XAI 仅逼近黑盒
通过类比可能最容易理解 XAI 的工作原理。 因此，考虑另一个黑匣子：人类思维。
我们都做决定； 我们或多或少知道这些决定背后的原因（即使我们被要求解释它们！）。 现在想象你自己（XAI）观察另一个人（原始 AI 模型）的行为并推断这些行为背后的基本原理。 这对你来说通常有多好？
使用 XAI，您可以使用第二个模型来解释原始模型。 “解释器”模型是对原始模型黑匣子内部工作原理的最佳猜测。 他们可能会近似于黑匣子中发生的事情； 他们可能不会。 我们应该期望它在多大程度上近似和“解释”非人类的决定？ 我们真的不知道。 使这个问题更加复杂的是不同的模型类型如何需要不同的解释器，这使得它们与各自的模型一起管理起来更加繁重。
一个有吸引力的替代方案是设计所谓的“可解释”模型，通过设计提供对决策逻辑的可见性。 最近一些出色的研究表明，这种“白盒”模型在某些领域的性能可能与黑盒模型一样好。 但即使是这些模型也有一个明显的缺点：对于非技术人员来说，它们通常仍然无法理解。
向谁解释？
另一个快速思维实验：想象一下 XAI 的不完美解释反而是完美的。 现在，邀请不是数据科学家的人来审查模型的决策——比如，一位负责数十亿美元业务线的高管需要决定是否批准一个高影响力的 ML 模型。 （另请阅读：人工智能在 2021 年提高企业生产力的 6 大方式。）
该模型可以创造巨大的竞争优势并产生巨大的收入。 如果模型运行不当，它还可能永久损害公司的品牌或损害公司的股价。 因此可以肯定地说，在模型上线之前，高管需要一些证据。
查看一些解释器模型的输出，他们会发现基本上是官方文章。 也就是说，它是不可读的、脱离上下文的数据，没有他们在听到“解释”一词时所期望的任何属性或逻辑。
这就是XAI作为企业使用领域的最大问题。 另外，可解释的模型对普通人来说也有同样的问题：解释需要技术人员的翻译。 业务主管、风险组织、合规经理、内部审计师、首席法律顾问办公室和董事会无法独立理解这些解释。 模型影响的最终用户如何？
正因为如此，获得信任和信心变得困难。 监管机构、消费者权益保护者和客户等外部各方会感到更不自在。
事实上，大多数“可解释”的 AI 工具只能向具有强大技术背景并且非常熟悉该模型运作方式的人解释。 XAI 是技术专家工具包的重要组成部分——但它不是“解释”AI 和 ML 系统决策的实用或可扩展的方法。
可理解的人工智能：透明度和可访问性
要让我们对黑盒 AI 和 ML 做出的决策充满信任和信心，唯一的方法是丰富解释领域并扩大其受众。 我们需要的是“可理解的人工智能”——或者说除了面向技术团队的 XAI 工具之外，还能够满足非技术利益相关者需求的人工智能。
可理解性的基础是透明度。 非技术人员应该有权访问他们监督的模型所做的每一个决定。 他们应该能够根据关键参数搜索记录系统，以单独和总体评估决策。 他们应该能够对个人决策进行反事实分析，改变特定变量以测试结果是否符合预期。 （另请阅读：人工智能需要做一些解释。）
但我们不应该止步于此。 可理解的人工智能还需要包括模型运行的更大环境。 为了建立信任，企业主应该了解模型在其整个生命周期之前和伴随模型的人为决策。 以下是模型周围的每个人都应该问自己的几个重要问题：
为什么这个特定模型被认为是解决业务问题的最佳选择？ 还考虑了哪些其他选择； 为什么他们被排除在外？
在选择过程中发现了哪些风险和限制？ 他们是如何缓解的？
选择了哪些数据包含在模型中？ 如何评估它的适用性和潜在问题？
数据源是公司内部的还是外部的？ 如果使用了第三方数据，供应商就其数据治理实践提供了哪些保证？
我们在模型开发和训练过程中学到了什么？ 这些知识如何影响最终产品？
一旦模型投入生产，我们公司如何确保发现并纠正问题？
结论：XAI 是可理解的 AI 解决方案的一部分
可解释性本身并不能解决理解 AI 或 ML 模型行为方式的问题。 然而，它可以——而且应该——成为更大的可理解人工智能图景的重要组成部分。
通过精心选择和设计，这些工具为专业建模人员和技术团队提供了宝贵的洞察力，尤其是在模型投入生产之前。 但是，如果今天使用这些智能模型进行创新的公司不考虑他们的非技术利益相关者的需求，他们几乎肯定会危及许多重要项目的成功——这些项目可能会使公众和开发它们的公司受益。
