摘要：学习玩游戏一直是当今AI研究的热门话题之一。使用博弈论/搜索算法来解决这些问题需要特别地进行周密的特性定义，使得其扩展性不强。使用深度学习算法训练的卷积神经网络模型（CNN）自提出以来在图像处理领域的多个大规模识别任务上取得了令人瞩目的成绩。本文是要开发一个一般的框架来学习特定游戏的特性并解决这个问题，其应用的项目是受欢迎的手机游戏Flappy Bird，控制游戏中的小鸟穿过一堆障碍物。本文目标是开发一个卷积神经网络模型，从游戏画面帧中学习特性，并训练模型在每一个游戏实例中采取正确的操作。本文综述了基于深度学习的卷积神经网络模型在模式识别（图像识别）中的应用，主要从典型的网络结构的构建、训练方法和性能表现3个方面进行介绍。

• 简介及问题定义
• 相关工作与实现方法
• Q学习算法
• 实验与结果

---

1. 前言

    作为深度强化学习的一个很好的入门学习教程，用深度强化学习玩FlappyBird这个示例一直是个很火的代码，网上也有不少的文章介绍。不过其大多从代码角度介绍，如果需要输入了解其理论与原理我们则需要更多论文资料。这里我翻译整理了相关论文并加入些自己的理解写在这篇博文中，详细可参考论文Deep Reinforcement Learning for Flappy Bird，具体关于深度强化学习的代码介绍将在后面的博文中介绍。

---

2. 简介及问题定义

    FlappyBird是一款游戏，玩家控制的对象是游戏中的“小鸟”，在游戏运行瞬间有两个可以采取的动作：按下“上升”键，使得小鸟向上跳跃，而未按下任何按键时小鸟则以恒定速率下降。

    如今，深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，使得机器学习模型可以直接学习概念，如直接从原始图像数据进行物体类别分类。深层卷积神经网络采用平铺分层卷积滤波器层来模拟视野接受域的影响，在处理计算机视觉问题上，如分类和检测问题，获得了很大成功。本文目的是开发一个深层神经网络模型，具体地，是利用图像中的不同对象训练卷积神经网络，进行基于游戏画面场景状态分析进行图像识别分类。从原始像素中学习游戏的特性，并决定采取相应行动，本质上是一个对游戏场景中特定状态的模式识别过程，在此设计了一个强化学习系统，通过自主学习来玩这款游戏。

    当通过很少预定的行为进行编程不能充分解决问题时，可采用强化学习方式，这是一种通过进行场景训练，使算法在输入未知和多维数据（如彩色图片）时做出正确的决策方式。通过这种方式，可以进行在线学习，而且算法可以学会自动对图像进行特征提取，对于训练中未出现的场景和状态也同样可以进行分类和预测。

3. 相关工作与实现方法

3.1 相关工作

    谷歌DeepMind利用深度学习技术玩游戏的影响，为从一个完全不同的视角去看待人工智能问题铺平了道路。其最新成果人工智能AlphaGo，在其与围棋大师的激烈竞争中向人们展示了深度学习的巨大潜力。DeepMind以前仅仅根据游戏原始图片就能学习和玩2600种雅达利游戏。Mnih等人，使用强化学习成功训练玩这些游戏的模型，在多种游戏[1]，[2]中超过了人类专家级别。他们提出了一种新的模型，即结合了深层神经网络的强化学习的深度Q网络（DQN）模型，以深层神经网络作为近似函数代表Q学习中的Q值（动作值）。他们还论述了一些提高训练效率和稳定性的技术，使用以前经验的“经验回放”，从中随机抽取小批量来更新网络，以便将模型得到的经验和延迟更新联系起来，从而获得目标值（稍后详细介绍）以提高稳定性。该通道的另一个优点是完全无需标记的数据，该模型通过与游戏模拟器的交互，并随着时间的推移学会做出很好的决策。正是这种简单的学习模型以及在玩Atari游戏时的惊人结果，启发我们采用一个类似的算法来完成本文所涉及的项目。

3.2 实现方法

    本文是通过训练一个深度卷积神经网络模型（深度Q学习网络）进行特定游戏状态下图像的识别与分类。深度Q学习网络是一个经改进过的Q学习算法训练得到的卷积神经网络，其输入是原始的游戏画面，输出是一个评价未来奖励的价值函数。人工智能系统的任务是提取游戏运行的图像，并输出从可采取的操作集合中提取的必要执行动作。这相当于一个分类问题，不过与常见的分类问题不同，这里没有带标记的数据来训练模型。可以采用强化学习，根据执行游戏并基于所观察到的奖励来评价一个给定状态下的动作，以此来进行模型训练。

3.3 构建模型

    游戏中小鸟可以采取的动作是煽动翅膀向上飞（(a＝1)）或不做任何动作（(a＝0)）。当前状态（框架）是由经预处理的当前帧原始图像（(X_t)）与有限数量的先前帧图像（(X_{t-1}), (X_{t-2}),…）构成。这样，每一个状态都将唯一地对应小鸟运动到某一位置所遵循的运动轨迹，从而向模型提供实时信息，先前存储的帧数成为超参数。理想情况下，(S_t)是从(t＝1)开始的所有帧的函数，不过为了减少状态空间，只使用有限的数量帧。如前所述，当鸟撞到管道或屏幕边缘时，可以给其一个负面奖励，如果通过了间隙，可得到一个正面的奖励。这样可以像人类玩家一样，尽量避免死亡并尽可能多得分。因此，有两个奖励，分别是rewardPass和rewardDie。折扣系数（(gamma)）为0.9，用于从未来动作贴现的奖励。

4. Q学习算法

    强化学习的目标是使总回报（奖励）最大化。在Q学习中，它是非策略的，迭代更新使用的是贝尔曼方程$$Q_{i+1}(s,a)=r+ gamma underset{{a}'}{max}{Q_{i}({s}',{a}') }$$    其中({s}')和({a}')分别是下一帧的状态和动作，(r)是奖励，(γ)是折扣因子。(Q_i (s,a))是为((s,a))矩阵在第i次迭代的Q值。这种更新迭代将收敛得到一个最佳的Q函数。为了防止学习僵化，这个动作值函数可以用一个函数（这里为深度学习网络）近似，以便能更好概括不可预见的状态。学习算法的输入点由(s_t), (a_t), (r_t), (s_{t+1}),的列表构成，函数能够通过这些输入点来构建一个能最大限度提高整体回报并以此预测动作的模型。将这里的函数构建为一个卷积神经网络，并使用上述方程中的更新规则更新其参数。以下两个方程为使用损失函数及其梯度来模拟这个函数。

    其中，(theta)是训练后的DQN参数， (theta^{-})（在后面的章节中解释）是Q值函数的非更新参数。因此，可以简单地使用上述损失函数的随机梯度下降法和反向传播算法更新神经网络权重（(theta)）。算法1是为训练而设计的算法，是一种加强探索的(varepsilon)贪婪算法。当训练进行时，有(varepsilon)的概率会随机选择动作或选择最优动作(a_{opt}=arg max_{{a}'} Q(s,{a}';θ)),其中(varepsilon)随着更新次数的增加逐渐减小到0。

4.1 预处理

    Flappy Bird游戏直接输出的像素是284×512的，但为了节省内存将其缩小为84×84大小的图像，每帧图像色阶都是0-255。此外，为了提高卷积神经网络的精度，在这一步去除背景层并用纯黑色背景代替，以去除噪声，如图2所示。依次对所得游戏图像进行缩放、灰度化以及调整亮度处理。在当前帧进入一个状态之前，处理几帧图像叠加组合的多维图像数据（如在模型构建部分提到的），当前帧与先前帧重叠时，灰度稍有降低，当我们远离最新帧时强度降低。因此，这样输入的图像将提供关于小鸟当前所在轨迹的良好信息，其处理过程如图3所示。