深度思维谷歌的人工智能实验室历来通过游戏展示其人工智能的能力，并在此过程中击败人类对手。 2016年， 阿尔法围棋 击败了围棋世界冠军李世石。 2019年， 阿尔法星 建造了足够的额外 塔架 以 5-0 击败职业选手（是的，这是一件事）Grzegorz “MaNa” Komincz。 而在2020年， 雅达利57 在 57 场 Atari 2600 游戏中，得分高于普通人类玩家。
不过，该实验室最新的人工智能新闻却有所不同。 DeepMind 没有设计一个模型来掌握单个游戏，而是与不列颠哥伦比亚大学的研究人员合作开发了一个能够玩一大堆完全不同的游戏的人工智能代理。 被称为 西玛 （可扩展、可指导的多世界代理），该项目还标志着人工智能从竞争性向游戏性的转变，因为人工智能按照人类指令进行操作。
但 SIMA 的创建不仅仅是为了帮助昏昏欲睡的玩家磨练关卡或增持资源。 相反，研究人员希望通过更好地了解 SIMA 如何在这些虚拟游乐场中学习，我们可以使 AI 代理在现实世界中更加合作和提供帮助。
SIMA 简介：第一个在广泛的 3D 虚拟环境和视频游戏中遵循自然语言指令的通用 AI 代理。 🕹️
它可以完成类似于人类的任务，并且优于仅在一种环境下训练的智能体。 🧵 https://t.co/qz3IxzUpto pic.twitter.com/02Q6AkW4uq
— 谷歌 DeepMind (@GoogleDeepMind) 2024 年 3 月 13 日
选择你自己的人工智能冒险
DeepMind 与开发工作室合作，在九种不同的视频游戏中训练和测试了 SIMA。 其中包括巨大的（有时是乏味的）太空探索游戏、维京生存游戏、科幻工厂建造者游戏，甚至是玩家扮演一只山羊在虚构的南加州城市传播混乱和狂欢的游戏。
这是一个多样化的游戏组合，但没有选择这九款游戏，因为 DeepMind 担心未来只有人工智能才能保护我们免受外星人和喷气山羊的侵害。 相反，这些游戏在重要方面具有与现实世界相似的特征：它们发生在实时变化的 3D 环境中，与玩家的操作无关。 除了简单的获胜之外，它们还具有一系列潜在的决策和开放式的互动。
为了教 SIMA 如何在这些世界中移动，研究人员从简单的游戏视频开始训练人工智能理解基于语言的指令。 在一些视频中，两名玩家一起玩游戏。 一名玩家会提供指示，另一名玩家会相应地遵循这些指示。 在其他视频中，玩家自由地玩游戏，研究人员后来用描述屏幕上动作的书面说明对视频进行了注释。 在这两种情况下，目标都是捕捉语言如何与游戏中的行为和动作联系起来。
SIMA 概述。 （来源：DeepMind / 谷歌）
为了确保 SIMA 的技能可以转移到任何 3D 环境（而不仅仅是其训练环境），研究人员提出了一些额外的设计挑战。 其中包括：
- 环境并未减慢，因此 SIMA 可以悠闲地确定下一步行动。 它必须在游戏中以正常速度运行。
- SIMA 只能访问屏幕上的图像和文本，与人类玩家可以处理的信息相同。 它没有从游戏的源代码中获得任何特权信息。
- SIMA 只能使用键盘和鼠标等工具与游戏进行交互。
最后，SIMA 在游戏中的目标必须由人类玩家使用自然语言指令实时提供。 人工智能不允许简单地一遍又一遍地玩游戏，直到它掌握了一个特定的、预定的目标。 换句话说，SIMA 必须学会与人类伙伴合作玩游戏，而不是通过数千次游戏尝试的反复试验。
例如，如果最近的游戏目标是收集 10 块木材，但一位人类用户告诉 SIMA 收集 10 块岩石，那么 SIMA 应该开始开采附近的巨石，而不是砍伐树木。
研究人员指出：“总的来说，这是人工智能的一个重要目标，因为虽然大型语言模型 [LLMs, like ChatGPT] 已经产生了可以捕获有关世界的知识并生成计划的强大系统，但它们目前缺乏代表我们采取行动的能力。”
SIMA 在五款视频游戏中遵循用户指令的屏幕截图。 （来源：DeepMind / 谷歌）
万事通，精通即将到来
SIMA 针对涵盖九个技能类别的总共 1,485 项独特任务进行了评估。 游戏中的技能类别更加普遍——比如导航、建造和使用物体——而任务本身可能更具体于游戏环境——例如“去你的船”、“建造一个发电机”或“切那个土豆。”
总体而言，SIMA 成功地理解了基于语言的指令。 尽管其成功率因任务和技能类别而异，但它的表现明显优于评估中使用的其他人工智能代理。
例如，它的表现优于在单一环境中训练的人工智能，平均提高了 67%。 研究人员还在所有数据集上训练了 SIMA 的某些版本。 当 SIMA 的这些版本玩缺席游戏时，它的表现几乎与单环境 AI 一样好。 这些结果表明 SIMA 的技能可以在不同的 3D 环境之间转移。
显示 SIMA 文本指令数据集的层次结构。 （来源：DeepMind / 谷歌）
研究人员还将 SIMA 与未经语言输入训练的人工智能代理进行了比较。 例如，SIMA 的平均成功率为 34%。 另一个人工智能的平均得分仅为 11%，研究人员将这一表现描述为“适当但漫无目的”。 这些结果进一步表明语言是 SIMA 性能的重要组成部分。
研究人员指出：“这项研究标志着智能体首次证明它可以理解广泛的游戏世界，并像人类一样遵循自然语言指令执行其中的任务。”
话虽如此，不要指望 SIMA 会很快帮助您击败特别棘手的游戏。 在《2019》中，尽管有严格的评审标准，人类玩家的成功率仍高达 60%。
同样，由于这些游戏很复杂——通常在给定时刻结合了数十种与数百个物体的潜在交互——研究人员将指令限制为那些可以“在大约 10 秒内完成”的指令。 SIMA 的未来迭代是否能够管理普通中学生群体每周六晚上管理的长期、多层计划还有待观察。
该团队在一份报告中发表了他们的发现 技术报告。
SIMA 按技能类别划分的平均成功率。 （来源：DeepMind / 谷歌）
超越游戏的思考
SIMA 是一项正在进行的工作，展望未来，研究人员希望扩展他们的游戏组合，包括新的 3D 环境和更大的数据集，以扩展 SIMA 的能力。 即便如此，他们仍然认为初步结果很有希望。
“对于人工智能系统来说，学习玩一款视频游戏就是一项技术壮举，但学习在各种游戏设置中遵循指令可以为任何环境解锁更有用的人工智能代理。 我们的研究展示了如何通过语言界面将先进人工智能模型的功能转化为有用的、现实世界的动作。”他们写道。
很高兴分享我一直在做的主要事情之一：扩展到可以在许多视频游戏环境中遵循自然语言指令的基础语言代理——使用与人类相同的像素来进行键盘/鼠标控制。 1/8 pic.twitter.com/FNDduMgQsY
— 安德鲁·兰皮宁 (@AndrewLampinen) 2024 年 3 月 13 日
如果我们希望人工智能在世界上存在并运行——无论是以汽车还是机器人的形式——那么虚拟环境为研究人员测试这些系统提供了一种更安全、更少浪费的手段。
如果人工智能在虚拟世界中学习驾驶时撞坏了汽车，它可以在吸取教训后重试。 在现实世界中发生车祸，即使是非致命后果，代价也要高得多。 一旦经过训练，相同的语言指令就可以用来指导虚拟环境之外的人工智能——即使它被训练成山羊。
研究人员总结道：“我们相信，通过这样做，我们将使 SIMA 成为在复杂环境中安全地进行基础语言和预训练模型前沿研究的理想平台，从而帮助应对 AGI 的根本挑战。”
资讯来源：由a0资讯编译自THECOINREPUBLIC。版权归作者A0资讯所有，未经许可，不得转载
