Q-learning 解决的问题
Q-Learning解决决策问题，即在目前所处的环境下，采取何种行动才能获得最大收益。
需要注意的是，采取Q-Learning算法求解问题时需要保证所处的状态S为有限可列个，在每种状态下采取的行动a也为有限可列个！
Q-learning 算法简介
Q-Learning是一种强化学习中的value-based的算法，即根据目前所处状态下每个可采取行动的value，即Q值，Q(S,a)决策下一步行动。
该算法实现的关键在于Q-table的建立与更新，该表如下所示：
| a1 | … | am | |
|---|---|---|---|
| S1 | Q ( S 1 , a 1 ) Q(S1,a1) Q(S1,a1) | … | Q ( S 1 , a 1 ) Q(S1,a1) Q(S1,a1) |
| S2 | Q ( S 2 , a 1 ) Q(S2,a1) Q(S2,a1) | … | Q ( S 1 , a 1 ) Q(S1,a1) Q(S1,a1) |
| … | … | … | … |
| Sn | Q ( S n , a 1 ) Q(Sn,a1) Q(Sn,a1) | … | Q ( S n , a m ) Q(Sn,am) Q(Sn,am) |
Q-learning 算法描述
Initialize Q(s,a) arbitrarily
Repeat (for each episode):
Initialize s
Repeat (for each step of episode):
Choose a from s using policy derived from Q (e.g., ε-greedy)
Take action a, observe r, s'
Q(s,a) = Q(s,a) + α*[r + γ*max_a'(Q(s',a')) - Q(s,a)]
s = s'
Until s is terminal
Q-learning 算法理解
关于算法流程
- Q值的理解：在给定状态S下，采取行动a期望得到的收益；
- Q表的作用：存储可能的状态，以及该状态下不同行动期望得到的收益；
- 外层循环（2-9行）的作用：在给定的环境中达成目标为一轮循环，同时也完成一轮训练；
- 内层循环（4-8行）的作用：在给定的环境中采取行动实现状态的转移并根据环境反馈的收益r更新Q-Table；
- 行动的选择（第5行）：采取ε-greedy策略，每次选择有(1-ε)的概率选择当前状态下Q值最大的行动a，有ε概率随机选择行动a；
- 其意义在于做出新的行动尝试，即随机探索环境的过程；
- 在没有学习到环境以前，随机采取a，然后根据环境的反馈采取上式更新旧状态s下采取a的Q值，如此循环；随着逐渐学习，ε-greedy起到保证能学习到新内容的作用；
- 得到反馈（第6行）来到新的状态S’，得到环境的反馈r；
- 更新Q值与状态（7-8行）；
关于公式
Q值更新公式：
Q
(
s
,
a
)
=
Q
(
s
,
a
)
+
α
[
r
+
γ
m
a
x
a
′
(
Q
(
s
′
,
a
′
)
)
−
Q
(
s
,
a
)
]
(1)
Q(s,a) = Q(s,a) + α[r + γmax_{a'}(Q(s',a')) - Q(s,a)] \tag{1}
Q(s,a)=Q(s,a)+α[r+γmaxa′(Q(s′,a′))−Q(s,a)](1)
个人便于理解改写成：
Q
(
s
,
a
)
=
(
1
−
α
)
Q
(
s
,
a
)
+
α
[
r
+
γ
m
a
x
a
′
(
Q
(
s
′
,
a
′
)
)
]
(2)
Q(s,a) = (1-α)Q(s,a) + α[r + γmax_{a'}(Q(s',a'))] \tag{2}
Q(s,a)=(1−α)Q(s,a)+α[r+γmaxa′(Q(s′,a′))](2)
其中：
- α α α为学习率，决定学习速度；
- ( 1 − α ) Q ( s , a ) (1-α)Q(s,a) (1−α)Q(s,a)是对于过去Q值的衰减；
- α [ r + γ m a x a ′ ( Q ( s ′ , a ′ ) ) ] α[r + γmax_{a'}(Q(s',a'))] α[r+γmaxa′(Q(s′,a′))]是根据环境反馈学习得到的Q值。
对于第二项：
r
+
γ
m
a
x
a
′
(
Q
(
s
′
,
a
′
)
)
(3)
r + γmax_{a'}(Q(s',a'))\tag{3}
r+γmaxa′(Q(s′,a′))(3)
其中：
- r r r为环境直接给出的反馈，在s状态下采取行动a来到状态s’后环境给予的收益；
- γ γ γ为对新状态s’下最大收益的衰减；
- m a x a ′ ( Q ( s ′ , a ′ ) ) max_{a'}(Q(s',a')) maxa′(Q(s′,a′))表示取新状态s’下期望得到的最大的收益，a’为此时采取的行动。
关于γ个人学习的是以下两种理解：
-
什么是 Q Leaning 莫烦老师的理解：
-
如何用简单例子讲解 Q - learning 的具体过程？ 牛阿老师的例子：
γ越大，小鸟就会越重视以往经验，越小，小鸟只重视眼前利益（R）。