论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I

GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE IMAGE(ISPRS 2016)

传统方法恢复房间布局,本文侧重对走廊图片进行布局恢复,主要分以下步骤:消失点估计,基于消失点的布局生成,布局评分(结合方向图OM和几何上下文GC)

论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I

Vanishing Points

消失点估计方法:

  1. Hough Transform (HT)
  2. Random Sample Consensus (RANSAC)
  3. Exhaustive Search on some of the unknown entities
  4. Expectation Maximization

HT:

  • 可以使用霍夫变换求得直线,然后在图像空间中根据直线求消失点。
  • Real Projective Plane Mapping for Detection of Orthogonal Vanishing Points提出基于平行坐标系(Parallel Coordinates, PC)参数化方法检测直线:PCLines,在此基础上结合级联霍夫变换(Cascaded Hough Transform, CHT)思想直接在二次PC空间中检测消失点,和以往方法相比,其将检测直线步骤包含在第一次变换中。

直线检测和消失点检测相关笔记
直线拟合比较

RANSAC:
基本流程如下:

  1. 建立一个拟合模型,选择拟合函数和距离函数。这里,拟合函数选择将多条线,按顺序两两寻找它们的相交点,最后取这些相交点的平均位置为我们估计的消失点位置。模型的误差函数(判断模型好坏)选择消失点到所有直线的正交距离累加
  2. 从线段数据集中随机采样,也为内群 ( inliers ),因为两条线相交于一点,这里我们可以选择随机采样数为2
  3. 根据随机采样的线段(数目为2),估计其相交点,即消失点的位置
  4. 计算估计的消失点到线段数据集中其他线段的距离,距离小于阈值的线段加入内群 ( inliers )
  5. 再次估计内群中的线段相交点位置,同时如第1点所述,计算模型的拟合误差

不断重复1~5,最终选择模型拟合误差最小的消失点估计位置

使用Ransac进行消失点(Vanishing point )检测

Layout Hypotheses Creation

论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I
布局假设生成步骤:

  1. 由于走廊布局往往是由多个box layout组合而成,首先生成key box layout。上图实线是直线检测得到的,虚线是根据消失点推测出的。选择和虚线相交的实线,数目不少于4
  2. 在得到key box layout后side box layout依次加入

Layout Evaluation

评分函数:论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I

S volume \mathrm{S}_{\text {volume}} Svolume​:布局的体积最大更有可能是真实布局

Lee, D.C., Gupta, A., Hebert, M., Kanade, T., 2010. Estimating spatial layout of rooms using volumetric reasoning about objects and surfaces. In: Advances in Neural Information Processing Systems, pp. 1288-1296.

S edge \mathrm{S}_{\text {edge}} Sedge​:在布局的边缘的线段像素数目,即生成假设的实直线线段越长越好
S om & gc \mathrm{S}_{\text {om \& gc}} Som & gc​:兼顾OM和GC

Orientation Map

方向图的主要概念是定义图像中哪些区域具有相同的方向。一个区域的方向由该区域法线的方向决定。如果一个区域属于XY曲面,那么它的方向是Z。
论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I
思想:
一个如果由2个不同方向的线段支持,比如上图(1)中的点,由2个方向(绿、蓝)支持,所以(1)中的点的方向垂直于绿、蓝。
(2)中的点,由2个方向(红、蓝)支持,所以(2)中的点的方向垂直于红、蓝线。下方的绿线被蓝线阻挡,所以不能作为(2)中点的支持方向。

Geometric Context

大体来说,使用图像中已有线索:material, location, texture gradients, shading, and vanishing points. 对区域分块。

也可以使用简单的线束进行简单分割,使用grouping superpixels方法扩大分割区域。评估分割好坏(homogeneous)

论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I
其实就是传统方法对图像进行语义分割,理解超像素,利用Color, texture, edge, and vanishing points 作为线索(特征)

Orientation Map and Geometric Context Combination

PanoContext(ECCV 2014)论文中,也使用OM和GC组合的方式,其在全景图中,上部分使用OM,下部分使用GC。这里作者解释为:由于PanoContext数据集中的大多数图像都是从单个房间中采集的,这种差异要么是由于大多数房间存在杂乱(OM表现不好原因?室内往往底部家具比较多),要么是因为他们的模型是基于略微向下看的图像训练的。

论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I

实验结论就是:在图像的两边,GC优于OM,而图像中心,OM优于GC。
本文用的数据可能大多数都是这种消失点位于中心的图,所以两边往往是墙,更有可能有遮挡物,纹理更复杂,而往中心距离更远,遮挡影响相对减弱。

GC和OM组合:
组合前各种需要先标准化
论文笔记:GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE I
结合OM给GC的区域设置方向,上式计算真实布局的方向和OM+GM组成方向平均误差。

上一篇:[CF526D] Om Nom and Necklace - 扩展kmp,差分


下一篇:om.baomidou.mybatisplus.core.exceptions.MybatisPlusException: 该模式不能应用于非数据库字段!