1.离散采样不可导问题,使用gumbel采样方式将不可导部分拉出计算图
细节做法https://www.cnblogs.com/initial-h/p/9468974.html
2.关于NLLloss和cross entropy loss 的关系和区别
cross中是计算概率模型输出的概率p和真实的分布之间的交叉熵,NLL是直接求负对数似然,如果交叉熵的使用的概率p是使用softmax 计算的,softmaxloss等价于交叉熵损失,也就是相当于logsoftmax后面加上NLL的操作就是交叉熵的损失。