- learning accuracy和loss不一致（loss低的时候，accuracy不够高）的可能原因：loss和学习目标不一致
- 关注细节，如validation loss和training loss: 如果一开始时validation loss和training loss非常接近，突然在某一个epoch后两个loss都有明显下降，并且是consistent的，则考虑这里会有一个很有用的变量；若training loss有明显下降而validation loss没有，则考虑两个数据集分割有偏差或特征的选择有偏差
- 对特征做离散化 可能发生的异常情况：
- 对于空值、无穷大值、无穷小值：将它们单独分成一类，将它们都放进一个桶内（对于np.nan，每出现一个就新建一个类，故需要去重之后将所有的np.nan人工加到同一类中）
- embedding大小、分箱个数
- if else
- 非线性激活函数可能浪费很多时间
- GLU，Xavier==> 输出时，方差一致
- 读文献不能以读懂全部代码的功能为目的，而应以基本读懂代码，可以对它做修改、有产出为目的。