强化学习入门最经典的数据估计就是那个大名鼎鼎的  reinforcement learning: An Introduction 了，  最近在看这本书，第一章中给出了一个例子用来说明什么是强化学习，那就是tic-and-toc游戏， 感觉这个名很不Chinese，感觉要是用中文来说应该叫三子棋啥的才形象。

这个例子就是下面，在一个3*3的格子里面双方轮流各执一色棋进行对弈，哪一方先把自方的棋子连成一条线则算赢，包括横竖一线，两个对角线斜连一条线。

上图，则是  X 方赢，即：

reinforcement learning 的对应代码地址为：

https://github.com/ShangtongZhang/reinforcement-learning-an-introduction

该代码虽然很好，但是看起来较费力，于是自己就该它的基础上加了些注释并把结构进行了改动，具体代码如下：

源码地址：（本文给出的结构重建，注释版）

https://files.cnblogs.com/files/devilmaycry812839668/tic_tac_toe_code.zip

关于算法的解释可以具体参见书中的介绍，Reinforcement Learning:An  Introduction   第一章

关于这个代码的，或者说是算法的设计主要是为了解释什么是时序差分的强化学习。

每一种状态都用一个值来表示，并用一个hash码表示，

St 是此刻的棋盘状态值，  St+1 是下一时刻的棋盘状态值。但是， 如果St状态到St+1 状态是因为自方进行策略探索而选择的不是最优的下一状态的动作，那么不进行此次计算。

状态值的变化树结构如下图：

由  d 状态 到  e* 状态是此时可以选择的最优状态，但是我们选择了进入  e  状态的操作，这就是策略的探索操作。

具体的算法思想参照     reinforcement learning： An   Introduction   原书。

==========================================================

目录结构如下图：

tic_tac_toe.py  是代码的主文件，需要运行该代码。

enviroment 文件夹中放的是 关于棋盘状态的类文件代码，和环境初始化的代码。

agents 文件夹中放的是 具体的下起策略中agent的代码：

interface.py 中的代码是  agent 代码和主程序的接口文件：

主文件   tic_toe_tac.py