一、数据集获取
1. 公开数据集
AiStudio、Kaggle、天池、DataFountain、科大讯飞、COCO数据集、VOC数据集
2. 完整流程
2.1 数据处理流程
- 图片数据获取
- 图片数据清洗
- 图片数据标注
- 图片数据预处理Data Processing:标准化(中心化、归一化)
- 中心化:加快收敛速度
- 归一化:提高收敛效率
- 图片数据准备(训练集、验证集、测试集)
- 图片数据增强Data Augmentation(训练阶段)
- paddle.vision.transform
2.2 纯数据处理流程(结构化赛题常用、这里不再赘述)
二、数据处理
1.数据集格式转换
COCO数据集Json格式解析、COCO格式转VOC格式
2. 自定义数据集处理
常见标注工具(labelimg、labelme、PPOCRLabel)
三、数据处理方法
1. 图片的本质
位图:由像素点定义一放大会糊、文件体积较大、色彩表现丰富逼 真
矢量图:超矢量定义、放太不模糊、文件体积较小、表现力差
2. 数据增强
增加数据量
减少过拟合
四、模型的训练与评估
1. 对比实验
2. map介绍:
2.1 IOU
2.2 TP、FP、FN、TN
常见的评 判方式,第一位的T,F代表正确或者错误。第二位的P和N代表判断的正确或者错误
map为PR曲线下的面积
五、模型预测推理
利用Vistual DL进行可视化。