埃隆·马斯克的《Dota 2》实验：OpenAI Five 如何颠覆电子竞技
多年来，人工智能不断突破策略游戏的界限，从深蓝在国际象棋中取得的巨大胜利到 AlphaGo 精妙的围棋技巧。然而，这些经典游戏，无论其策略深度如何，都运行在一个具有完全、透明信息的、可预测的棋盘上。然而，现实世界是一个更加混乱和不可预测的竞技场，其特点是信息不完整、持续行动以及复杂、通常是混乱的互动。
这正是 OpenAI 推出 OpenAI Five 项目的地方，这是一个雄心勃勃的项目，它在 Dota 2 这个高度复杂且混乱的宇宙中挑战了职业人类玩家。它从一个粗糙的机器人发展成为一个强大的团队的非凡历程，为人工智能应对真实世界挑战日益增长的能力提供了深刻的见解。
来源: OpenAI Five 在 Dota 2 这个高度复杂且混乱的游戏宇宙中挑战了职业人类玩家。
OpenAI Five 快速摘要
- 项目目标： 开发能够玩复杂的实时策略游戏 Dota 2 的 AI 机器人，模拟现实世界的不确定性。
- 学习方法： 主要通过广泛的自我对弈进行强化学习，不使用人类数据。
- 关键里程碑：
- 2017 年 8 月：单个机器人以 1v1 比赛击败职业玩家 Dendi。
- 2018 年 6 月：五人机器人团队持续击败业余和半职业玩家。
- 2019 年 4 月：在三局两胜制比赛中击败 2018 年国际邀请赛冠军 OG。
- 技术实力： 使用 256 个 GPU 和 128,000 个 CPU 核心，每天积累 180 年的训练经验。
- 影响： 展示了人工智能在复杂的多代理环境中的潜力，为机器人技术和物流提供了参考。
OpenAI Five 机器人的演进
OpenAI 于 2016 年 11 月开始 crafting 驱动其 Dota 2 机器人的算法。他们的核心目标是通过将其置于 Dota 2 这样的游戏中来构建通用的问题解决系统，而 Dota 2 模拟了现实世界固有的不可预测性和连续的流动。这款游戏被证明是理想的选择，不仅因为它在 Twitch 上的巨大受欢迎程度，还因为它内置了机器人支持和易于使用的 API。
2017 年 8 月，在 Dota 2 的顶级赛事国际邀请赛上，公众首次瞥见了 OpenAI 机器人。在这里，著名的乌克兰职业玩家 Dendi 在与一名 OpenAI 机器人的一对一比赛中被击败。
来源: transfermarkt.co.uk
在 2017 年国际邀请赛上，职业玩家 Dendi 在与一名 OpenAI 机器人的一对一比赛中落败。
OpenAI 的首席技术官后来透露，这仅有的一个机器人通过短短两周的无情自我对弈就掌握了技能，有力地证明了这种学习软件在复杂任务（甚至如手术）中的潜力。
到 2018 年 6 月，这些机器人已经有了显著的进步，不仅能够作为一个协调的五人团队进行操作，而且能够持续击败业余和半职业人类玩家。它们参加了 2018 年国际邀请赛，与 paiN Gaming 和一支由前中国职业玩家组成的队伍等实力强大的对手交锋。尽管 OpenAI Five 最终在这两场比赛中都失利了，但该组织认为这些失败也是成功的，因为它们为算法分析和改进提供了宝贵的数据。
这些机器人在 2019 年 4 月的最后一次公开亮相标志着一项非凡的成就：它们在三局两胜制的比赛中，令人信服地击败了 2018 年国际邀请赛的卫冕冠军 OG。
来源: clipground.com
在最后一次公开演示中，机器人击败了 2018 年国际邀请赛的卫冕冠军 OG。
在同月举行的为期四天的激动人心的在线赛事中，公众被邀请与机器人对弈。在令人震惊的 42,729 场公开对局中，OpenAI Five 取得了惊人的 99.4% 的胜率。
OpenAI Five 如何学习和比赛
OpenAI Five 采用了一种名为强化学习的复杂技术。在这种方法中，机器人通过每天进行数百场游戏，持续数月，不断完善它们的策略。它们通过成功的行动获得预定的奖励，例如消灭对手或摧毁防御塔。每个机器人本质上是一个神经网络，配备了单层和 4096 个单元，通过 Dota 开发者 API 直接观察游戏状态。这意味着将游戏世界处理为一个包含 20,000 个数字的完整列表，然后通过八个枚举值执行操作，并为延迟、操作类型和坐标等元素提供独立的动作头。
来源: builtin.com
OpenAI 的“Rapid”基础设施由数千台机器组成，每天积累 180 年的训练经验。
它专门采用了近端策略优化（PPO）作为其关键的强化学习算法。
Dota 2 对 AI 的复杂性
Dota 2 所呈现的环境比国际象棋或围棋等传统策略游戏要复杂得多。与这些游戏不同，《Dota 2》为 AI 带来了几个独特的挑战：
- 连续动作空间： 动作不是离散的移动，而是实时发生的。
- 部分可观察性： “战争迷雾”意味着玩家（和机器人）没有关于地图的完整信息。
- 高维度： 动作和观察空间都非常广阔。一个英雄可能拥有 170,000 种可能的动作。
- 复杂、不断变化的规则集： 游戏经常更新，引入新的英雄、物品和机制。
为了说明这一点：
| 游戏 | 每滴答平均有效动作数 | 平均游戏时长 |
|---|---|---|
| 国际象棋 | 35 | ~60 步 |
| 围棋 | 250 | ~200 步 |
| Dota 2 | ~1,000 | 45 分钟 (~80,000 滴答) |
OpenAI Five 每四帧观察一次，每场比赛处理令人印象深刻的 20,000 个动作。
自我对弈和策略发展
OpenAI Five 学习旅程的一个真正独特的特点是它对自我对弈的坚定依赖。机器人从完全随机的参数开始，并且特别未使用任何人造数据或搜索算法，有机地生成了自己独特的策略。为了鼓励广泛的探索，机器人被编程为 80% 的比赛与自己对弈，20% 的比赛与稍旧的版本对弈。这个巧妙的过程在短短几天内迅速导致了诸如“五人推塔”等基本概念的自发发展，然后优雅地演变成复杂的策略。
挑战和批评
尽管取得了令人印象深刻的成就，OpenAI Five 还是面临一些审视，尤其是在其方法的公平性方面。机器人通过 API 直接访问游戏状态数据，而不是像人类玩家那样费力地处理视觉信息。这种根本性的差异导致一些批评者将它们的胜利称为“作弊”，特别是考虑到机器人有限的英雄池和此直接 API 访问。批评者还指出，OpenAI Five 在长期战略规划方面存在困难，通常缺乏超过大约 14 分钟的远见。在 2018 年国际邀请赛上，当面对不可预测的策略或游戏状态的突然变化时，机器人明显表现出适应性不足。
这些固有的优势自然引发了伦理辩论。人类必须手动检查位置、生命值和装备，而 OpenAI Five 则可以立即直接访问所有这些信息。它平均 80 毫秒的反应时间也比任何人类能力都快得多。OpenAI 的联合创始人埃隆·马斯克甚至亲自为该项目争取了折扣计算能力，并称赞机器人的胜利是 AI 首次在竞争性电子竞技比赛中击败专业选手。OpenAI Five 的开创性项目无疑为未来的协作 AI 游戏应用奠定了重要的基础。
❝ AI 首次在竞争性电子竞技比赛中击败专业选手 ❞
OpenAI 联合创始人
常见问题解答
什么是 OpenAI Five？
OpenAI Five 是 OpenAI 的一个项目，开发了机器学习机器人来玩复杂视频游戏 Dota 2。其目标是创建一个通用的问题解决 AI 系统，通过在模拟现实世界不可预测性的环境中进行训练。
OpenAI Five 是如何学会玩 Dota 2 的？
机器人通过一种称为强化学习的过程学习，它们每天与自己玩数百场比赛。它们通过成功的行动（例如杀死对手或摧毁防御塔）获得奖励，并在数月的自我对弈中不断完善它们的策略。
OpenAI Five 相较于人类玩家有任何优势吗？<
是的，机器人通过 API 直接访问游戏状态数据，这与处理视觉信息的人类不同。它们的反应时间（约 80 毫秒）也比人类快得多，并且每分钟可以执行比人类更多的操作。
OpenAI Five 的主要批评是什么？
批评者认为机器人直接 API 访问构成“作弊”。他们还指出机器人难以进行长期战略规划（超出 14 分钟的范围），并且无法适应不可预测的人类策略或突然的游戏状态变化。
结论
OpenAI Five 项目是人工智能领域的一项里程碑式实验，大胆地拓展了机器学习在复杂、实时和多代理环境中能够实现的界限。其非凡的成功生动地展示了强化学习和海量计算能力通过无情的自我对弈开发出高度复杂策略的巨大力量。即使是其公认的不足也提供了极其有价值的教训，清楚地表明了游戏中的 AI 和更广泛的 AI 应用在适应性和深刻的长期战略深度方面仍需要进一步发展的领域。该项目的持久遗产远远超出了 Dota 2 的范畴，积极为机器人技术、先进的物流系统和协作人机界面提供信息，从而为 AI 如何应对现实世界的挑战性不可预测性设定了关键先例。
来源: YouTube
来源: YouTube