在很多竞技射击游戏中，你都能看到一种名为「夺旗模式」的玩法。它源于西方一项传统运动，玩家被组成两支小队，目标是把对方基地里的旗帜带回到自己基地中，同时也要保护自家旗子不被人抢走。

规则看似很简单，可比起强调击杀得分的玩法，夺旗模式对于团队配合和战术执行也会更高，这往往需要几名玩家在进攻和防守之间取得一个平衡点。

▲ 图片来自：DeepMind

但这依旧没有难倒开发出 AlphaGo 的 DeepMind 实验室。据 Arstechnica 报道，在本周四的《Science》杂志上，该公司发表了一篇新的论文，称新设计出来的 AI 程序已经能在《雷神之锤 3》游戏里展现出和人类一样的行动方式，还能在夺旗模式中战胜人类队伍。

这也是继《星际争霸 2》和《Dota 2》后，DeepMind 攻破的又一款复杂竞技游戏。

想要让 AI 玩好竞技射击类游戏，难点是什么？

在 《AlphaGo》电影中，DeepMind 创始人 Demis Hassabis 曾简单描述了让 AI 理解围棋玩法的难点。

他说，相比于西洋棋，围棋里的每颗棋子都拥有更多可以走的路径选择，最终整个棋局可变化的数目，要比全宇宙的原子总数还要多。

而 DeepMind 实验室的挑战，就在于去发明一种可以效仿人类直觉的高级算法，最终让它们能够像人类一样进行决策，展开行动。

换成是第一人称射击游戏中的夺旗模式，AI 还需要有更快的实时决策能力，比如思考在什么时间点做什么事是正确的？如果两队的分差较大，又该如何协调身边的队友，采取什么策略才能扳回比分？

为了解决这个问题，DeepMind 实验室建立了一套新的双层学习系统。

在内层，DeepMind 会让 AI 专注于竞技比赛的核心目标，也就是赢得胜利，基于这个点，AI 会再为整个游戏建立数个次级目标，由此来寻求取胜的最短路径，比如跟随队友，或是在敌人的基地附近游走。

这里有一些具象化的东西，比如在训练过程中，DeepMind 团队采取了「优胜劣汰」的流程，让 AI 将每一轮模拟赛里表现最差的方案淘汰掉，然后再把最优秀方案中的突出部分共享出来，反复改进整个决策树。

而外层部分，则会根据内层的决策情况来调整其它模块。比如说当内层认为防守战术是现在最好的选择，外层就会提升 AI 对于四周环境的视觉感知能力，这样当敌人靠近基地时，AI 便能更快地实现射杀。

这么看下来，DeepMind 开发的这套 AI 还是和人类很相似的，它的内层就像是人类的「大脑」，主要负责战术策略；而外层则可以当作人类的「眼睛和双手」，负责执行环节。

确定模型后，接下来就是一遍又一遍的训练了。这次 DeepMind 团队投入了约三周时间，让 AI 进行了 45 万局游戏，相当于人类玩家耗费 4 年时间积累的游戏经验，效率依旧惊人。

在进行到约 10 万场训练时，AI 队伍已经达到普通人类玩家的水平；而在 20 万局训练后，AI 队伍已经能击败职业玩家，而且优势还在逐渐扩大。

另外，研究人员还在训练期间发现了一些额外的惊喜。比如 AI 会从神经网络分出一部分神经元，专门用于确认身边队友是否拿到的旗子。

团队还使用了随机生成的地图场景，为的就是不让 AI 靠背板地图来取胜。

AI 之所以强，不仅因为战术，还有骚操作

AI 在游戏中战胜人类，靠的是什么？DeepMind 曾表示，这是基于强化学习算法下的战术执行。

但也有不少人认为，AI 在竞技游戏中的真正优势是超高的手速和操作效率，而且很多都是人类玩家无法做到的。

原因很简单，我们玩电脑游戏时需要用到鼠标、键盘和手柄，我们要做出一项操作，都得先让大脑意识反馈到手指上，然后再传到游戏中。

但人类选手们面对的 AI 并不是机器人，它们没有实体，所以下达指令时并不需要借助手柄等交互工具，这等于是砍掉了中间流程，自然是能获得双倍效率。

▲ 图片来自：The Verge

这在实际游戏中也有所体现。在今年年初的《星际争霸》AI 对抗赛中，职业选手每分钟的平均操作数为 250-500 左右，而 AI 则可以飙到 1000+，且大部分都是有效操作，意味着它可以在极短时间内下达更多的复杂指令。

而本次《雷神之锤 3》比赛中，据统计，人类的反应时间只有 AI 的一半，且后者的射击精确度可以达到 80%，而人类只有 50%。

之后，哪怕是 DeepMind 称已经将 AI 的响应时间调整至和人类相似的水平，人类战队依旧只能保证约 30% 左右的胜率，证明在战术执行和决策部分，AI 依旧拥有一定的优势。

这其实也是没办法的事情，单从训练量来说，DeepMind 的 AI 在两周时间内玩的局数，相积累了大约 200 年的游戏时间。

难怪也有人评价，这种比赛毫无意义，因为 AI 本身就是外挂般的存在。

但人类也并非毫无优势，比如在射击游戏中的远距离狙击场景，职业玩家会展现出更好的视觉能力。

所幸，我们暂时不用担心在游戏中碰到这么强的 AI 对手。毕竟，如果 AI 太聪明，看破了你的一切招数，玩家会心生明显的受挫感，玩游戏就直接变成了一件找虐的事，游戏也不用指望卖出去了。

此外，比起游戏，我们在现实世界中还有很多值得 AI 投入的领域，《纽约时报》就发表评论认为，这些 AI 技能可以运用在仓储管理机器人上，还有自动驾驶系统等。

在 DeepMind 眼中，电子游戏仅仅是一块敲门砖，AI 真正需要掌握的是独立理解一个世界的能力，以及达成目标的手段，那么就算换成是现实世界，它也可以很好地帮助人类。

编辑：卫中

责任编辑：卫中

来源：ifanr