GameGAM：
Learning to Simulate Dynamic Environments with GameGAN
Seung Wook Kim1,2,3* Yuhao Zhou2†
Jonah Philion1,2,3 Antonio Torralba4 Sanja Fidler1,2,3* 1NVIDIA 2University of Toronto 3Vector Institute 4 MIT
————————————————————

1.GameGAN能够通过游戏当前画面和键盘的操作，基于训练过的模型来预测下一帧游戏画面；作者额外设置了一个外部内存，允许游戏角色返回访问过的位置同时保持游戏逻辑与画面的一致性；作者设计的解码器能够学习游戏画面的动态与静态成分

2.GameGAN主要有三个部分：外部存储器、动态引擎、渲染引擎

3.Dynamics Engines
3.1 动态引擎能够帮助GameGAN学习动作输入会造成的结果，它需要学习什么样的动作是不被允许的，比如操作角色对着墙前进，那么角色会保持原地不动；
3.2 动态引擎主要是一个LSTM

4.Memory Module
4.1 存储器模块在第t时有记忆模块M和位置信息α；
4.2 K, G 和 E 都是小型MLP；
4.3 a经过K后归一化压缩为一个3X3的核，得到w；
4.4 g为选通变量，g ∈ [0, 1] ，当g为0时α的值为上一步α的值，意味着游戏角色的位置并没有发生改变；

5.Rendering Engine
A为属性映射；O为目标映射；渲染引擎的第一部分主要是绘制动态角色，在第二部分通过SPADE合成器将背景与游戏角色共同生成

6.判别器
Single image discriminator:单帧判别器；
Action-conditioned discriminator:动作条件判别器；
Temporal discriminator:多帧判别器

代码：https://github.com/nv-tlabs/GameGAN_code