Open AI 训练了一个神经网络，通过视频预训练 (VPT) 在大量未标记的人类 Minecraft 游戏视频数据集上玩 Minecraft，同时仅使用少量标记的承包商数据。
通过一些微调，这家 AI 研究和部署公司相信其模型可以学习制作金刚石工具，这项任务通常需要熟练的人类超过 20 分钟（24,000 次动作）。 它的模型使用按键和鼠标移动的本地人机界面，使其非常通用，代表了向通用计算机使用代理迈出的一步。
这家由微软支持的公司的发言人说：“互联网包含大量我们可以从中学习的公开视频。 你可以看到一个人进行华丽的演示，一个数字艺术家画出美丽的日落，一个 Minecraft 玩家建造一座复杂的房子。 然而，这些视频只提供了发生的事情的记录，而不是它是如何实现的，即你不会知道鼠标移动和按键的确切顺序。
“如果我们想在这些领域建立大规模的基础模型，就像我们在语言中使用 GPT 所做的那样，这种缺乏动作标签会带来一个新的挑战，而在语言领域中不存在，“动作标签”只是下一个 一句话中的单词。
为了利用互联网上可用的大量未标记视频数据，Open AI 引入了一种新颖但简单的半监督模仿学习方法：视频预训练 (VPT)。 该团队首先从承包商那里收集了一个小数据集，其中不仅记录了他们的视频，还记录了他们采取的行动，在本例中是按键和鼠标移动。 利用这些数据，公司可以训练逆向动力学模型 (IDM)，该模型可以预测视频中每一步所采取的动作。 重要的是，IDM 可以使用过去和未来的信息来猜测每一步的动作。
发言人补充说：“与仅根据过去的视频帧预测动作的行为克隆任务相比，这项任务要容易得多，因此需要的数据要少得多，后者需要推断人想做什么以及如何完成它。 然后，我们可以使用经过训练的 IDM 来标记更大的在线视频数据集，并通过行为克隆来学习行动。”
根据 Open AI 的说法，VPT 为允许代理人通过观看互联网上的大量视频来学习行动铺平了道路。
发言人说：“与只能产生代表性先验的生成视频建模或对比方法相比，VPT 提供了直接学习更多领域的大规模行为先验的令人兴奋的可能性，而不仅仅是语言。 虽然我们只在 Minecraft 中进行实验，但该游戏非常开放，本地人机界面（鼠标和键盘）非常通用，因此我们相信我们的结果对其他类似领域来说是个好兆头，例如 电脑使用情况。”
