1| reward. shaping
如果对vs有大致的认知，把势能potential-based定义为估计的最优价值函数，能加快价值函数收敛
2、gae：广义优势估计
absorb state:terminal state
γ-just条件:尚未理解
GAE(Generalized Advantage Estimation)
-
GAE的作用
- GAE的意思是泛化优势估计，因而他是用来优化Advantage Function优势函数的。
- GAE的存在是用来权衡variance和bias问题的：
- On-policy直接交互并用每一时刻的回报作为长期回报的估计∑Tt′=tγt′−trt′∑t′=tT?γt′−trt′? 会产生较大的方差，Variance较大。
- 而通过基于优势函数的AC方法来进行回报值估计，则会产生方差较小，而Bias较大的问题。
-
GAE 推导
满足γγ-just条件。(未完待续)
-
GAE形式
GAE的形式为多个价值估计的加权平均数。
? 为了快速估计序列中所有时刻的估计值，采用倒序计算，从t+1时刻估计t时刻：