博雯 发自 凹非寺

量子位 | 公众号 QbitAI

现在的AI都开始学着逐帧搓招打街机了？

《拳皇98》、《街头霸王》、《死或生》……一干童年回忆全都玩了个遍，其中还有号称要打5000场才能入门的3D格斗游戏《铁拳》：

没错，就是那个对新人极不友好的《铁拳》，随便拉一张人物的搓招表感受一下这个复杂度：

（没错，各种压帧判定的JF技就是其特色其中一个）

△铁拳 TT2出招表

但AI偏偏就能在入坑没多长时间就通关了顶尖难度：

△左侧为AI

这款AI的背后是一位个人开发者，也是一位骨灰级的街机游戏爱慕者。

他训练出来的新人“铁匠”在Reddit的“比赛录播”已经有近500的热度：

强化进修训练框架

这位AI铁匠的背后，一个叫做DIAMBRA Arena的强化进修交互框架。

DIAMBRA Arena提供了多个强化进修研究和实验环境，具有情节性的强化进修任务，由离散的动作（如游戏手柄按钮）和屏幕中的像素和数据（如人物血条）组成。

在这一框架中，智能体会给环境发送壹个动作，环境对其进行处理，并相应地将壹个起始情形转换为新情形，再将观察和奖励返回给智能体，以此交互循环：

要实现上述循环的代码也特别简单：

import diambraArena

# Mandatory settings

settings = {}

settings[“gameId”] = “doapp” # Game selection

settings[“romsPath”] = “/path/to/roms/” # Path to roms folder

env = diambraArena.make(“TestEnv”, settings)

observation = env.reset()

while True:

actions = env.action_space.sample()

observation, reward, done, info = env.step(actions)

if done:

observation = env.reset()

break

env.close()

这一框架目前支持Linux、Windows、MacOS等主流的操作体系。

而这款AI的“实战场”为早期的Tekken Tag Tournament，当然，搓招复杂度完全不逊色于之后的新版本……

开发者选择了风间仁（Jin）和吉光（Yoshimitsu）两名具有代表性的人物作为主要操作对象。

输入分别为：从RGB转换为灰度，并缩小到128 x 128px的游戏屏幕像素值、对战局数（Stage）、人物血条、游戏界面的一侧。

训练中的奖励一个基于生活值的函数，如果对方生活值损伤则得到正面奖励，己方控制的人物生活值损失则得到负面惩罚。

同时，AI的动作速率也被限量为最大速率的1/10，即游戏中每6步发送壹个动作。

由于框架运用的是一种离散的动作空间，因此，智能体在训练中的同一时刻只能选择壹个移动动作9给上，给下等）或攻击动作（冲击，踢，出拳)。

因此，虽然壹个连击组合的实战能力更强，但由于AI无法同时点击两个动作，在真正的对战中，便会出现AI频繁运用踢（Kick）和更换人物（swap）两个动作的情况：

点评区有资深PVP爱慕者表示，想要看到这种极致AI选手互虐的激烈场景，而开发者本人对此特别赞同：

大家正在创建壹个平台，在这个平台上，程序员将提交他们训练有素的AI并互相对抗，并在大家的频道上播放比赛。

AI锦标赛

现在，开发者团队已经开始正式筹备这个“AI游戏锦标赛”，背后的程序员和开发者们等于于是“教练”或者“选手家长”，最终的获胜者可获取1400瑞士法郎（折合人民币9261元）。

“比赛项目”也不止是铁拳一种，开发者表示，这些格斗游戏的底层机制都相对类似，只需要修改一下组合技、人物血条数值等游戏的差异性属性。

因此，他们的DIAMBRA Arena框架面给各类街机视频游戏提供完全符合OpenAI Gym标准的Python API。

像死或生、街头霸王等多个流行的街机游戏都被囊括其中：

GitHub链接：

https://github.com/diambra/diambraArena

视频链接：https://www.youtube.com/watch?v=9HAKEjhIfJY