强化栗 发自 凹非寺 
量子位 出品 | 公众号 QbitAI

强化学习AI打游戏，早就不稀奇了。

智能体在虚拟世界里死去活来，慢慢了解怎样的策略能让自己活得更长，得到更多的奖励。

但AI可能不知道，游戏打不好，也可能是智能体的身体结构有问题。

△ 今天的主角，可能是AI界的橡胶果实了

如果可以一边学策略，一边改身材，或许能成就更伟大的强化学习AI。

于是，来自谷歌大脑的David Ha，为自家AI制定了双管齐下的特殊训练计划：

智能体不断调整自己的身材，比如腿的长度，找到最适合当前任务的结构；同时进行策略训练。

△ 身材修炼前 (左) vs 身材修炼后 (右)：速度明显不一样

你看，智能体把腿跑细了，速度也快了许多。

除此之外，还可以培养越野能力。

在沟壑纵横的旅途中，原始身材的智能体时常翻车。

△ 改造前，翻车日常

但炼成优雅身型之后，翻车事件几乎不存在了，策略训练时间也缩减到原来的30%。

身材科学了，策略也就好学了。

那么，是怎样的婀娜身段，能在降低时间成本的同时提升性能？再看一会儿你就知道了。

秀外慧中，有何密方？

从前的智能体，形状结构大都是固定的，只关注策略训练。可是，系统预先设定的身材，通常都不是 (针对特定任务) 最理想的结构。

因此，如同上文所说，策略要学，身材优化也要一起学。

这样一来，只用策略网络的权重参数 (Weight Parameters) 来训练就不够了，环境也要参数化。

身体结构特征，比如大腿或小腿的长度、宽度、质量、朝向等等，都是这环境的组成部分。

这里的权重参数w，把策略网络参数和环境参数向量结合起来，便可以同时培养身材和技巧。

随着权重w的不断更新，智能体会越来越强。

身材改造有没有用？只要和仅学策略、不改结构的智能体比一场，如果奖励分有提升，就表示AI找到了更适合这个环境的身型。

注意，为了修炼AI的冒险精神，研究人员把高难度动作的奖励扩大，引导智能体挑战自我。

身材改造，疗效甚好

比赛场地分两大块，一是基于Bullet物理引擎的机器人模拟库Roboschool，二是基于Box2D物理引擎的OpenAI Gym。

两类环境都经过了参数化，AI可以学着调整里面的参数。

解锁高分姿势

首先，来到足球场 (RoboschoolAnt-v1) ，这里的智能体Ant是只四脚怪，每条腿分三截，由两个关节控制。腿是留给AI调节的，球状身躯是不可调节的。

△ 三截腿，最内侧的一截比较不明显

任务很简单，跑得越远越好。

经过训练 (上图右) ，智能体最明显的变化是腿部更加细长了，且四条腿长短不一，打破了对称性。身材改变之后，步频也加快了许多，长腿怪更早穿过了棕色跑道。

看一下奖励分：在100次测试里，原始结构的得分是3447 ± 251，而新结构的得分为5789 ± 479，疗效显著。

△ 左为原始，右为身材训练后 (红线代表激光雷达)

然后，进入绿地场景 (BipedalWalker-v2，基于Box2D，属于Gym) 。这里的智能体是两足的，在“激光雷达”的指引下往前走。

任务是在规定时间内，穿越一片和平的地形 (这是简单版，充满障碍物的复杂版见下文) 。用分数来看，100次Rollout超过300分就算任务成功。

原始身材获得了347分，优化后的身材则有359分。

两边任务都成功了，但改造过结构的智能体除了瘦腿之外，两腿四截的长度都有变化，给了AI弹跳前进的新姿势。动作看上去更加轻松，分数也高过从前。

好身材，能加速策略学习

上文绿地的硬核版 (BipedalWalkerHardcore-v2) 在此：路途崎岖，千山万壑，一不小心就会堕入深渊。

David Ha要在此证明，强健的身材能为智能体的策略学习带来加成，而不只是“两门功课同步学”那样粗暴的合体。

与之前的全面瘦腿不同，这次智能体的后腿，进化出了厚实的小腿，且长度和沟壑的宽度相近。

△ 红线代表激光雷达

这样一来，在跨越鸿沟的时候，后腿就能架起一座桥，保护智能体平稳通过，不翻车。

与此同时，前腿承担了“危险探测器”的责任，侦查前方有怎样的障碍物，作为“激光雷达”的辅助，可以给后腿的下一步动作提供依据。

重点是，在这副新身材诞生的过程中，AI已学会了通关策略，耗时仅12小时。对比一下，不做身材优化的原始训练方法，用时长达40小时 (前馈策略网络，96个GPU) 。

这就是说，优雅的结构加速了智能体的学习过程。

△ 加入身材优化(橙色) ，训练效率明显提升，约1000代达成目标

脑洞，并非从天而降

第一，David Ha如何能预感到，改善智能体的结构就可以提升训练效率？

他说，是从大自然得到了启发。

△ 错误示范

有些动物在脑死亡之后，依然可以蹦跳，依然可以游泳。

也就是说，生物体的许多行为，并不依赖大脑。

有种叫做体验认知 (Embodied Cognition) 的理论认为，认知的许多特征，都不是大脑独自决定：生物体的方方面面，如运动系统、感知系统、生物体与环境的相互作用等等，都会对认知产生影响。

比如，运动员在长期训练的过程中，除了身体得到锻炼，某些特定的心理素质也会随之生成。

David Ha觉得，这样的现象在AI身上也有可能发生：对躯体进行训练，从而影响认知。

第二，通过训练来改变智能体结构的想法，也是来源于自然。

△ 火烈鸟本不是红色，吃了小鱼小虾之类的食物，羽毛才变红

中学生物告诉我们，表现型是基因型与环境共同作用的结果。

那么，各式各样的虚拟场景，也会让更适应环境的智能体结构脱颖而出。这样，AI便可以借助环境的选择，炼成更加精湛的技能。

缘，妙不可言。

论文传送门：
https://designrl.github.io/