拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

3D点云连续帧标注是自动驾驶场景中应用较为广泛的一种数据处理类型,对三维空间感知能力以及多帧协同处理能力要求较高。​

传统逐帧标注模式下,无论采用手动复制对象方式还是自动复制对象方式,标注效率均无质的提升。

曼孚科技SEED数据服务平台在总结传统标注模式利弊的基础上,创新性的大量引入算法辅助,以人机协同的方式推出了专门针对点云连续帧标注的“自动关键帧”模式,在保持数据准确率的基础上,标注效率可以提升10倍有余。

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率点云自动关键帧

如上图所示,点云自动关键帧标注模式下,用户只需完成该连续帧中“起始帧”与“结束帧”标注,平台算法即会自动生成并调整中间帧上同一Track ID对象,无须逐帧复制,可以极大节省通过自动复制来补充、调整对象的时间。

一.自动关键帧相关名词

▌起始帧

同一Track ID对象系列的第一个关键帧,在该系列中是唯一的。

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率红色框内为起始帧

▌中间帧同一Track ID对象系列的中间帧,在该系列中数量不限,可以同时存在多个。

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率红色框内为中间帧

▌结束帧同一Track ID对象系列的最后一个关键帧,在该系列中也是唯一的。

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率红色框内为结束帧

▌空白帧同一Track ID对象系列的起始帧与结束帧之间所创建的关键帧,在该系列中数量不限,可以同时存在多个。

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率红色框内为空白帧

二.创建自动关键帧

1.标注界面无对象

如下图所示,在第1帧内使用个体分类为“汽车”的标注方案创建出Track ID:05的对象,选中该对象,按下快捷键S键,在连续帧显示区出现一个起始帧创建中标记:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

快捷键Ctrl+C复制此对象,在后续任意包含该对象的帧内,如第10帧按下快捷键Ctrl+V粘贴此对象。

粘贴完成后,依据数据详情,调整该对象的位置与大小。保持该对象在选中状态下,再次按下快捷键S,即可完成创建起始帧与结束帧。

起始帧与结束帧之间的其他连续帧上会自动生成同Track ID的对象,且由蓝色与红色的线段相连。

如下图所示,起始帧为第1帧,结束帧为第10帧(灰色显示的帧为上一个操作帧):

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

点击第1帧至第10帧中的任意帧,会发现均已自动生成包含此Track ID:05的对象,且SEED平台自带的算法已自动调整该对象在各中间帧中的位置:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

2.标注界面已存在对象

如下图所示,在第5帧和第10帧上已有Track ID:03的对象。在第5帧选中此对象,按下快捷键S键,在连续帧显示区会出现一个起始帧创建中标记:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

切换至第10帧,再次按下快捷键S,即可完成创建起始帧和结束帧。起始帧与结束帧之间的其他连续帧上会自动生成同Track ID的对象,且SEED平台自带的算法已自动调整该对象在各中间帧中的位置。

关键帧标记如下图所示。起始帧为第5帧,结束帧为第10帧(灰色显示的帧为上一个操作帧):

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

3.注意事项

1)连续帧可视区可查看关键帧标记与追踪标记。一个关键帧只属于一个对象。

2)只有在同时具有起始帧与结束帧时,自动关键帧才会生效。

3)无论创建方向如何,起始帧永远在结束帧前(按照正序播放顺序排列)。

4)撤销自动关键帧生成的对象需要在启动帧上进行撤销操作。

三.编辑自动关键帧

1.生成中间帧

当同一Track ID对象已创建两套关键帧时,其中一套关键帧的起始帧与另一套关键帧的起始帧或结束帧重合的情况下,重合的关键帧会自动转化为中间帧。两套关键帧将合并成一套带有中间帧的关键帧。

2.插入空白帧

当某套关键帧体系中,某帧不含有此对象,或者此对象被遮挡,不需要被标注或导出时,可以在此帧中插入空白帧。

插入空白帧后,对象追踪标记将在空白帧处断开,空白帧前后的连续帧中,该对象仍然具有相同的Track ID。该帧上,此对象置灰显示,不可被编辑或者删除,也不会被导出。

例:Track ID:04的对象起始帧为第1帧,结束帧为第12帧,在第4帧中该对象被遮挡,此时可以在第4帧中插入空白帧,如下图所示:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

插入空白帧后,其所在帧的标记会发生同步改变,该对象会置灰显示,如下图所示:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

3.删除关键帧

删除关键帧有两种方式:通过删除对象删除/通过删除关键帧删除。

▌通过删除对象删除

当删除对象所在帧为起始帧/结束帧时,起始帧/结束帧会自动向后/向前平移一帧。

当删除对象所在帧为中间帧时,该套关键帧将被分为两部分。

▌通过删除关键帧删除

右键点击所在帧,选择“删除关键帧”,并配合右下角删除开关——“关联删除-起始帧”、“关联删除-结束帧”执行删除操作:

拒绝低效丨只需十分钟,提升十倍3D点云连续帧标注效率

采用该方式删除关键帧时,根据“关联删除-起始帧”和“关联删除-结束帧”开启状态的不同会呈现出不同的结果:

“关联删除-起始帧”开启时,删除起始帧会附带删除该起始帧到下一个关键帧之间的所有对象,下一关键帧所在帧的对象则不会被删除。

“关联删除-结束帧”开启时,删除结束帧会附带删除该结束帧到上一个关键帧之间的所有对象,上一关键帧所在帧的对象则不会被删除。

4.平移关键帧

平移关键帧操作只能在起始帧和结束帧上进行,中间帧与空白帧无法平移。

当选错起始帧或结束帧时无须重新创建,在连续帧显示区右键选择“平移关键帧”,通过平移即可以改变起始帧与结束帧的位置。

需要注意的是,平移关键帧会引起平移方向上相邻关键帧的变化,需要根据具体情况决定是否微调。

 

上一篇:如何更好地训练神经网络训练


下一篇:SuperPoint: Self-Supervised Interest Point Detection and Description 论文笔记