大多数人在很小的时候就能认出猫或狗。 当被要求阐明他们如何知道动物是猫还是狗时，成年人可能会通过描述经验来摸索解释，例如“猫以一种遥远的方式评价你，但狗试图跳到你身上并舔你的 脸。”
换句话说，我们并没有真正表达我们所知道的。
人工智能在过去二十年的标志性成就是通过将猫和狗的图片归类来对它们进行分类。 但是人工智能程序从不解释它们如何“知道”它们应该“知道”的东西。 它们是众所周知的黑匣子。
谷歌人工智能研究人员最近的一项创新试图为人工智能如何知道这些事情提供答案。 这是一个引人入胜的工程项目，它也让人怀疑人工智能是否真的什么都知道。
在研究论文“风格解释：训练 GAN 来解释 StyleSpace 中的分类器”中，谷歌研究科学家 Oran Lang 及其同事着手对所谓的分类器进行逆向工程：一种机器学习程序，能够开发自动对图片进行分类的能力 分为类别，例如“猫”和“狗”。
他们的程序称为“StylEx”，能够识别使分类器将给定照片分配到一个或另一个类别的事物，并且以人们可以识别的方式 – 换句话说，语义上重要的属性。
他们的技术采用了所谓的生成对抗网络 (GAN) 的新颖用法。 GAN 方法最初由 AI 科学家 Yoshua Bengio 和他在蒙特利尔 MILA 的团队于 2014 年推出，是一种广受欢迎的程序，用于生成模仿给定风格或流派的假图像。
科学家们使用的 GAN 程序名为 StyleGAN，由 Tero Karras 及其在 Nvidia 的同事于 2019 年推出，并于 2020 年更新为 StyleGAN2。 它可以拍摄人物、地点和事物的各种真实照片，并以原始图像的方式制作令人信服的假照片，正如您在网站上看到的“此人不存在”，这是一组极其逼真的假头像 .
另外：人工智能伦理：人工智能的好处和风险
没错，GAN 引领了“深度造假”现象。 关键是，GAN 可以生成任何类型的图像，包括假的但看起来很逼真的猫狗图片。
重要的是，StyleGAN2 可以沿任意数量的参数进行移动，例如在人的头像中使面部肤色更浅或更深，或者使猫的耳朵像狗一样松软，或者相反，狗的眼睛又大又圆 像猫一样。 换句话说，StyleGAN 2 可以发挥我们认为是某些事物的预期视觉属性。
作者采用了 StyleGAN2 并构建了新版本 StylEX，以处理已经由传统神经网络分类器程序（在本例中为古老的 MobileNet 神经网络）分类的图片。 该分类器根据 Clova AI Research 的 Yunjey Choi 及其同事于 2020 年推出的名为“AFHQ”的数据集对动物的真实图像进行分类。
MobileNet 是他们试图使用 StylEx 撬开的黑匣子。
为了开发他们的程序，Lang 和团队让 StylEx 本质上压缩了由 MobileNet 分类的图像，然后将它们解压缩为原始图像。 然后将原始版本的新伪造版本反馈到 MobileNet，以查看 MobileNet 是否会将相同的类别分配给伪造品。
在此过程中，StylEx 可以调整那些参数，即 GAN 能够操纵的那些视觉属性，并查看这样做是否会影响 MobileNet。 如果您愿意，StylEx 会尝试愚弄 MobileNet。
我们的想法是，如果 StylEx 可以创建一个 MobileNet 接受的令人信服的伪造品，然后再创建一个扰乱 MobileNet 仔细分类的伪造品，那么两者之间的相互作用可以让我们了解 MobileNet 在对图像进行分类时所依据的是什么。
正如作者所说，“我们训练我们的 GAN 来明确解释分类器。” （“训练”是神经网络的功能首先通过暴露于样本数据而开发的阶段。）
图片的压缩版本是 StylEx 的“StyleSpace”的一部分，其中 StylEx 正在预测 MobileNet 将响应什么，这是 GAN 的“分离的潜在空间”。 潜在空间是 GAN 程序的一部分，它分离出图片的视觉元素，例如构成猫的眼睛或狗的舌头的区域。
由于 StylEx 是通过滑块进行操作的——实际上，有滑块控件可以显示诸如眼睛变大或嘴巴张开或闭合等内容——MobileNet 分类器以增加或减少猫或狗的概率分数来响应。 通过这种方式，StylEx 被用作医疗探针，以查看 MobileNet 的分类发生了什么。
换句话说，旋转旋钮以显示假货与真货的区别，并查看它对分类有何影响。
Lang 和他的同事将此称为“反事实”实验，正如他们所写，这是“一种形式的陈述‘如果输入 x 是 x’，那么分类器输出将是 y ̃ 而不是 y’，其中 x 之间的差异 而 x ̃ 很容易解释。”
“易于解释”的概念是它的症结所在。 StylEx 的目的是识别 StyleSpace 中人类可以理解的事物——“大眼睛”或“摇摆的舌头”——作为解释。 这是 AI 走向“可解释”AI 的一部分，它打开黑匣子并告诉社会机器如何做出决定。
正如作者所写，
例如，考虑一个经过训练以区分猫和狗图像的分类器。 对分类为猫的图像的反事实解释可能是“如果瞳孔变大，那么分类器输出的猫的概率将降低 10%”。 这种方法的一个关键优势是它提供了每个示例的解释，指出输入的哪些部分对分类很重要，以及如何更改它们以获得替代结果。
Lang 和他的同事们不仅向 Amazon Mechanical Turk 平台上的工作人员提交了他们的反事实，不仅针对猫和狗，还针对一大堆图像分类，包括人类年龄——“老年”与“年轻”——以及人类性别。 他们让那些人描述图片从真到假的变化。 “然后要求用户用 1-4 个词描述他们在图像中看到的最突出的单一属性变化。”
您可以通过访问 Lang 和团队创建的网站以及操作示例来亲自尝试。
这就引出了一个问题：MobileNet 分类器知道什么？ StylEx 程序没有深入探讨什么是真正的知识这一认识论问题，而是表明 MobileNet 分类器将重复响应图片中可以分离的某些元素，例如猫或狗的大眼睛或小眼睛。
换句话说，分类器神经网络知道某些特征沿着度数连续统一体的程度，无论是大的还是小的，亮的还是暗的。
但是还有一个额外的皱纹。 正如 Lang 和同事发现的那样，他们的 StylEx 程序在创建具有改变特征的假货时，在每种情况下都会影响分类器处理特定图像的方式。 具体这个词很重要，因为事实证明，MobileNet 分类器在对每张图像进行分类时相当具体。
正如作者所写，“这些不是对许多图像具有最大平均影响的属性，而是对这幅特定图像影响最大的属性。” 换句话说，就分类器而言，每张图像都有一个怪癖。 或者一组怪癖。
因此，分类器实际上是在寻找每张图像中强调的特定内容，而 StylEx 程序正在重新创建该内容。 目前尚不清楚这些特定于图像的方面是否是知识。 它们可以被认为是分类器程序用来将给定图片与给定类别相关联的人工制品。 也不清楚是否存在跨图像的共性，如果程序真的知道猫或狗的相似性，您会期望这种共性。
如果知识实际上是关于命名事物的，那么 StylEx 会提出有趣的问题。 命名或分类的行为强加了二元选择，猫或狗，程序通过关联一个或一组元素来响应以完成测试。 从该术语的更深层次意义上讲，这是否真的是关于图片的知识的一部分，仍然是一个悬而未决的问题。
