最近参加完百度强化学习7日打卡营的学习班，初步了解了一些强化学习的算法。学习完后，试着开始玩玩atari的游戏，老师给了一个demo，https://github.com/PaddlePaddle/PARL/tree/develop/examples/DQN_variant，model，algorithm，agent等就不多说了，这些老师课堂已经讲的很清楚了。

这个demo，需要atari游戏的rom，我是上天入地的找，找了半天都没合适的，但是gym的gym.make的游戏倒是非常多，一开始我直接gym.make，但是程序报错，alueError: all the input arrays must have same number of dimensions，看到input arrays 我第一反应应该是obs出了问题，果不其然，demo里对rom进行了处理，出来的obs的shape是（84,84），而我这里是（84,84,3），于是便开始对图形进行灰度处理，我在obs的地方进行了灰度处理，程序ok，但是运行了test的时候又报错了，讲道理，应该是没有问题的，因为我对所有的obs都进行了处理，但是无济于事，于是还是选择从env = gym.make(game_name)处进行处理，demo里atari_wrapper提供了对env的一些处理，例如图像缩放，帧数重复的处理等等，维度没有进行灰度处理，好说写了一个灰度处理的方法：

def rgb2gray(image):
return np.dot(image[...,:3], [0.299, 0.587, 0.114])

然后通过atari_wrapper的mapstate方法，直接对其进行处理：

env = MapState(env, lambda im: rgb2gray(im))

，程序OK，经过改造，程序可以直接使用gym的游戏，gym调用游戏非常方便，而且很多，直接make一个就可以了。