摘要:谷歌DeepMind团队创造了一个自学跑酷的智能体,解锁了它在不同地形和障碍物下的跑酷姿势,画风甚是喜感。

近日,谷歌DeepMind团队创造了一个自学跑酷的智能体,并且解锁了它在不同地形和障碍物下的跑酷姿势。除了画风喜感了点,训练效果看起来还是蛮好的。

[qqv]https://v.qq.com/iframe/preview.html?vid=f0524ujycym&width=500&height=375&auto=0[/qqv]
 1分37秒处情感惊艳

简笔小人

视频中的简笔小人似乎似乎在进行一场激烈的跑酷比赛,它的身型、周围的地形以及障碍物都是变化的。小人需要自学奔跑、跳跃、蹲伏等姿势,找到从A到B的最佳穿越方式。

[wximg]http://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtDo2wocAicMIRYsnneaJISCrXTleGWaiaFFezN4xsruwbcm3toM7G58iaWU2m2g2UGqkW2KnsFWA3NoQ/0?wx_fmt=png[/wximg]

研究人员赋予了智能体一组虚拟传感器,传感器告诉智能体有没有走歪,并激励它前进。智能体需要根据传感器的指示自己探索和修正错误,尝试不同的通过方法。

这个智能体背后,是DeepMind团队在探索怎样将强化学习应用在教智能体适应陌生且复杂的环境。

这项研究成果也被同步发表到arXiv上,DeepMind将论文命名为《Emergence of Locomotion Behaviours in Rich Environments》,由Nicolas Heess, Dhruva TB, Srinivasan Sriram等12名DeepMind研究人员完成。

[wximg]http://mmbiz.qpic.cn/mmbiz_png/YicUhk5aAGtDo2wocAicMIRYsnneaJISCr3hWZbUqXBGfsLnw8XnbKxicY6k2N4vLuSZyiade8ic9O5rBFuxpC0AL5w/0?wx_fmt=png[/wximg]

论文介绍

一般来说,强化学习(Reinforcement Learning)让智能体在奖励中直接学习复杂行为。但在通常情况下,强化学习训练的运动非常脆弱,在陌生环境中很容易崩溃,不知下一步应如何移动。

就像婴儿适应了家里的楼梯后,再把他放在电动扶梯上,他就不知如何是好了。

一般的强化学习需要研究人员仔细地设计很多特定的奖励机制。

但DeepMind研究人员仅仅给予智能体一个奖励行为,那就是前进。

他们用单一的奖励机制配合丰富的环境,让智能体学习运动。运动行为对奖励的设置非常敏感,但结果显示,智能体在各种环境中都表现良好。

也就是说,DeepMind的智能体不依赖多种奖励,而是通过丰富的环境,如地形与障碍学习复杂行为。

通过这种新奇的可扩展策略梯度增强学习变体,智能体在没有明确环境奖励引导的情况下,也可以跑步、跳跃、蹲伏和转弯。

[wximg]http://mmbiz.qpic.cn/mmbiz_gif/YicUhk5aAGtDo2wocAicMIRYsnneaJISCr6yQic4oibZ91jGmBj3BwuDnMF1dRtEGeKic8WgwZ3YaqW60S5hGKx4mqw/0?wx_fmt=gif[/wximg]

强化学习算法

为了使智能体在这些富有挑战的环境中有效学习,必须有一个可靠的可拓展强化学习算法。因此,DeepMind用了几组方法组合完成了这项任务。

这项任务不仅需要基于强大的策略梯度算法,如信赖域策略优化(TRPO)和近似策略优化(PPO)置信区间的参数更新,来确保稳定性。

其次,还要像广泛使用得A3C算法等相关方法一样,需要在很多并行智能实例和环境上分配计算。

最后,附上论文地址:

https://arxiv.org/pdf/1707.02286.pdf