【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

Dan Deng——【AAAI2018】PixelLink_Detecting Scene Text via Instance Segmentation

作者和代码

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

tensorflow代码

关键词

文字检测、多方向、直接回归、$$xywh\theta$$、one-stage、开源

方法亮点

  • 使用instance segmentation的思路做(利用了二类分类+每个像素点与周围8个顶点的link分类)
  • 利用图像处理方法进行后处理,不需要用NMS

方法概述

本文方法采用instance segmentation思路,预测text/non-text和pixel-link关系,再使用简单的图像处理的方式进行后处理来去除噪声。

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

方法细节

方法流程图

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

网络结构

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

Link定义
  • 两个像素的都是positive(text)-> link是positive
  • 一个是text,一个是non-text -> link是positive
  • 两个都是non-text -> link是negative
损失函数
  • 总损失

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

  • pixel 损失(Instance-Balanced Cross-Entropy Loss)

    利用每个instance的面积来对其loss进行加权,目的是为了提高小目标对loss的贡献。

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

  • link损失

    link_CE是Cross-Entropy loss。

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

后处理
  • 通过pixel信息来链接Text/non-text prediction的score map里的像素,得到instance segmentation map
  • 利用OpenCV的minAreaRect来提取oriented rectangle
  • 使用后处理过滤噪声
    • 去掉短边小于10个像素的box
    • 去掉面积小于300的box
    • 其他利用长宽比等(参数设置为在训练集上做统计,利用百分比对应的值作为参数,例如99%以上的文字短边都大于10,)

实验结果

  • ICDAR2015

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

  • MSRA-TD500

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

  • ICDAR2013

【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

  • 模型分析对比实验
    【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation
    【论文速读】Dan_Deng_AAAI2018_PixelLink_Detecting_Scene_Text_via_Instance_Segmentation

总结与收获

这篇方法采用纯分割的思路,完全没有利用目标检测的方法,连后处理都没用nms,方法还是比较特别的。

上一篇:Javascript基本算法演练 Seek and Destroy


下一篇:八皇后问题