上分神器:训练调参与模型集成

上分神器:训练调参与模型集成

本文为干货知识+赛事实践系列,对模型训练、调参流程与模型集成进行了总结,旨在理论与实践结合(零基础入门系列:数据挖掘/cv/nlp/金融风控/推荐系统等,持续更新)上分神器:训练调参与模型集成

分享大纲

1. 模型训练与验证

  • 设置验证集的必要性和验证集训练方法;

2. 调参流程

  • 调参指导框架、搭建Baseline训练模型和调参原则;

3. 模型集成

  • 通过交叉验证集成模型、TTA和Snapshot。

模型训练与验证

为什么要设置验证集:

上分神器:训练调参与模型集成

两种常见的验证集划分方法:留出法和K折交叉验证

上分神器:训练调参与模型集成

调参流程

调参指导框架

上分神器:训练调参与模型集成

观察数据

上分神器:训练调参与模型集成

上分神器:训练调参与模型集成

搭建Baseline训练初始框架

上分神器:训练调参与模型集成

上分神器:训练调参与模型集成

调参原则

上分神器:训练调参与模型集成

如何走出翻车

上分神器:训练调参与模型集成

模型集成

通过交叉验证集成模型

上分神器:训练调参与模型集成

上分神器:训练调参与模型集成

TTA

上分神器:训练调参与模型集成

snapshot

上分神器:训练调参与模型集成



上分神器:训练调参与模型集成



上一篇:An Improved Baseline for Sentence-level Relation Extraction


下一篇:Calculator(补)