在《星际迷航：下一代》中，皮卡德船长和企业号航空母舰的船员利用全息甲板（一个能够生成 3D 环境的空房间）来准备任务并自娱自乐，模拟从茂密的丛林到夏洛克·福尔摩斯的伦敦的一切。 全息甲板创建的深度沉浸式和完全互动的环境是无限可定制的，只使用语言：工作人员只需要求计算机生成一个环境，该空间就会出现在全息甲板中。
如今，虚拟交互环境还用于在实际部署之前通过称为“Sim2Real”的过程来训练机器人。 然而，虚拟交互环境却出人意料地供不应求。 “艺术家手动创建这些环境，”计算机和信息科学 (CIS) 助理教授 Mark Yatskar 和副教授 Chris Callison-Burch 实验室的博士生 Yue Yang 说道。 “这些艺术家可能会花一周的时间来构建一个单一的环境，”杨补充道，并指出了所涉及的所有决定，从空间布局到物体的放置，再到渲染中使用的颜色。
如果你想训练机器人在复杂的现实世界中导航，那么虚拟环境的缺乏就会成为一个问题。 神经网络是当今人工智能革命的动力系统，需要大量数据，在这种情况下意味着对物理世界的模拟。 “像 ChatGPT 这样的生成式人工智能系统接受了数万亿个单词的训练，而像 Midjourney 和 DALLE 这样的图像生成器则接受了数十亿张图像的训练，”Callison-Burch 说。 “我们只有一小部分 3D 环境用于训练所谓的‘具体人工智能’。 如果我们想使用生成式人工智能技术来开发能够在现实环境中安全导航的机器人，那么我们将需要创建数百万或数十亿个模拟环境。”
Holodeck 是一个用于生成交互式 3D 环境的系统，由 Callison-Burch、Yatskar、Yang 和 Aravind K. Joshi CIS 助理教授 Lingjie Liu 以及斯坦福大学、华盛顿大学和艾伦研究所的合作者共同创建。人工智能（AI2）。 Holodeck 以其《星际迷航》的前身命名，使用人工智能来解释用户的请求，生成几乎无限范围的室内环境。 “我们可以用语言来控制它，”杨说。 “你可以轻松地描述你想要的任何环境并训练具体的人工智能代理。”
Holodeck 利用大型语言模型 (LLM) 中嵌入的知识、ChatGPT 和其他聊天机器人的底层系统。 “语言是整个世界的非常简洁的表达，”杨说。 事实上，法学硕士对空间设计有着惊人的高度了解，这要归功于他们在培训期间吸收的大量文本。 从本质上讲，Holodeck 的工作原理是让法学硕士参与对话，使用一系列精心构造的隐藏查询将用户请求分解为特定参数。
就像皮卡德船长可能要求《星际迷航》的全息甲板模拟地下酒吧一样，研究人员可以要求佩恩的全息甲板创建“一个养猫的研究员的 1b1b 公寓”。 系统通过将其分为多个步骤来执行该查询：首先创建地板和墙壁，然后创建门口和窗户。 接下来，Holodeck 在 Objaverse（一个庞大的预制数字对象库）中搜索您可能在这样的空间中期望的家具类型：咖啡桌、猫塔等等。 最后，Holodeck 查询了一个布局模块，研究人员设计该模块是为了限制物体的放置，这样你就不会看到从墙壁水平延伸的厕所。
为了评估 Holodeck 的真实性和准确性，研究人员使用 Holodeck 和 ProcTHOR（AI2 创建的早期工具）生成了 120 个场景，并要求数百名币安大学工程学院的学生指出他们喜欢的版本，但不知道创建了哪些场景通过哪些工具。 对于每一个标准——资产选择、布局一致性和整体偏好——学生们一致对 Holodeck 生成的环境给予更有利的评价。
研究人员还测试了 Holodeck 生成场景的能力，这些场景在机器人研究中不太常见，并且比公寓内部更难以手动创建，例如商店、公共空间和办公室。 将 Holodeck 的输出与 ProcTHOR 的输出进行比较（使用人类创建的规则而不是人工智能生成的文本生成），研究人员再次发现人类评估者更喜欢 Holodeck 创建的场景。 这种偏好存在于各种室内环境中，从科学实验室到艺术工作室，从更衣室到酒窖。
最后，研究人员使用 Holodeck 生成的场景来“微调”具体的 AI 代理。 “Holodeck 的最终测试，”Yatskar 说，“是用它来帮助机器人更安全地与环境互动，让它们做好居住在以前从未去过的地方的准备。”
在多种类型的虚拟空间中，包括办公室、日托中心、健身房和商场，Holodeck 对客服人员驾驭新空间的能力产生了显着且积极的影响。
例如，在使用 ProcTHOR 进行预训练时，智能体在音乐室中成功找到钢琴的成功率约为 6%（其中智能体需要执行约 4 亿个虚拟步），而在使用 ProcTHOR 进行预训练时，智能体成功找到音乐室钢琴的成功率超过 30%使用 Holodeck 生成的 100 个音乐室进行微调。
“这个领域长期以来一直专注于住宅空间的研究，”杨说。 “但是外面有很多不同的环境——有效地生成大量环境来训练机器人一直是一个巨大的挑战，但 Holodeck 提供了这种功能。”
资讯来源：由a0资讯编译自THECOINREPUBLIC。版权归作者A0资讯所有，未经许可，不得转载
