期望的模型：
速度快，内存小，精度高
Detection 评价指标
精度指标：
- MAP 平均准确度均值
速度指标：
速度评价指标必须在同一个硬件上进行。
- FPS ：
frames per second 帧率
每秒处理的图片数量或处理每张图片所需的时间（同一硬件下比较）
影响因素：模型参数量 ，激活函数，损失函数 - FLOPS：
floating point operations per second.每秒运算浮点数代表着硬件性能 - FLOPs：
计算量，可以用来衡量算法/模型的复杂度。
理解：
FLOPs：floating point operations 指的是浮点运算次数，理解为计算量，可以用来衡量算法/模型的复杂度。此处区分一下FLOPS（全部大写），FLOPS指的是每秒运算的浮点数，理解为计算速度，衡量一个硬件的标准。我们要的是衡量模型的复杂度的指标，所以选择FLOPs。
每张图片FLOPs是不同的，所以同一硬件处理相同图片所需的FLOPS越小，相同时间内就能处理更多的图片，速度也就越快
- mAP：mean Average Precision ，各类别AP的平均值。数据集中所有类别AP值的平均值
- AP：PR曲线下的面积
- PR：precision-recall曲线
- Precision：TP/TP+FP
- Recall：TP/(TP+FN)
P=TP/TP+FP
R=TP/TP+FN
理解：
mAP是针对整个数据集而言的
AP针对数据集中某一个类别而言的
P和R是针对单张图片预测某一类别的
MOT问题评价指标
原则：
- 所有出现的目标都要及时能够找到；
- 目标位置要尽可能与真实目标位置一致；
- 每个目标都应该被分配一个独一无二的 ID，并且该目标分配的这个 ID 在整个序列中保持不变。
Accuracy：
- 准确度。用误差来表示。不是错误的占比。
Presicion：
- 对的是对的的概率
MOTA：
- 多目标跟踪准确度 (Multiple Object Tracking Accuracy, MOTA) 。
- 衡量单摄像头多目标跟踪准确度的一个指标
MOTP：
- 多目标跟踪精确度 (Multiple Object Tracking Precision, MOTP)
- 衡量单摄像头多目标跟踪位置误差的一个指标
“准确度指在一定实验条件下多次测定的平均值与真值相符合的程度,以误差来表示。它用来表示系统误差的大小。 精确度指被测量的测得值之间的一致程度以及与其“真值”的接近程度,即是精密度和正确度的综合概念。
一些概念
-
SOTA-modle:在该项研究任务中，最好/最先进的模型。
-
SOTA-result:在该项任务中，目前最好的模型的结果/表现/性能。
-
pipeline和baseline是什么？
pipeline和baseline是什么？
baseline:
基础模型，可以实现数据预处理，基础的特征工程、模型建立以及结果输出与评价，然后通过深入进行数据处理，特征提取，模型调参或融合，使得baseline可以提升.相当于一个基础模型，可以以此为基准来比较对模型的改进是否有效。
pipeline：
数据读取\数据预处理\创建模型\模型评估结果\模型调参.
管道机制在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。 -
IOU：交并比。bbox GT重叠度
NMS：（Non-Maximum Suppression，NMS）非极大值抑制。顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索，抑制分数低的窗口 。
IOU + NMS:靠分类器得到多个候选框，以及关于候选框中属于类别的概率值,选取一个概率最大框，通过将IOU作为阈值，合并一些框, 迭代此过程。