GEOMETRIC CONTEXT AND ORIENTATION MAP COMBINATION FOR INDOOR CORRIDOR MODELING USING A SINGLE IMAGE(ISPRS 2016)
传统方法恢复房间布局，本文侧重对走廊图片进行布局恢复，主要分以下步骤：消失点估计，基于消失点的布局生成，布局评分(结合方向图OM和几何上下文GC)
Vanishing Points
消失点估计方法：
- Hough Transform (HT)
- Random Sample Consensus (RANSAC)
- Exhaustive Search on some of the unknown entities
- Expectation Maximization
HT:
- 可以使用霍夫变换求得直线，然后在图像空间中根据直线求消失点。
- Real Projective Plane Mapping for Detection of Orthogonal Vanishing Points提出基于平行坐标系(Parallel Coordinates, PC)参数化方法检测直线:PCLines，在此基础上结合级联霍夫变换(Cascaded Hough Transform, CHT)思想直接在二次PC空间中检测消失点，和以往方法相比，其将检测直线步骤包含在第一次变换中。
RANSAC:
基本流程如下：
- 建立一个拟合模型，选择拟合函数和距离函数。这里，拟合函数选择将多条线，按顺序两两寻找它们的相交点，最后取这些相交点的平均位置为我们估计的消失点位置。模型的误差函数(判断模型好坏)选择消失点到所有直线的正交距离累加
- 从线段数据集中随机采样，也为内群 ( inliers )，因为两条线相交于一点，这里我们可以选择随机采样数为2
- 根据随机采样的线段（数目为2），估计其相交点，即消失点的位置
- 计算估计的消失点到线段数据集中其他线段的距离，距离小于阈值的线段加入内群 ( inliers )
- 再次估计内群中的线段相交点位置，同时如第1点所述，计算模型的拟合误差
不断重复1~5，最终选择模型拟合误差最小的消失点估计位置
Layout Hypotheses Creation
布局假设生成步骤：
- 由于走廊布局往往是由多个box layout组合而成，首先生成key box layout。上图实线是直线检测得到的，虚线是根据消失点推测出的。选择和虚线相交的实线，数目不少于4
- 在得到key box layout后side box layout依次加入
Layout Evaluation
评分函数：
S volume \mathrm{S}_{\text {volume}} Svolume：布局的体积最大更有可能是真实布局
Lee, D.C., Gupta, A., Hebert, M., Kanade, T., 2010. Estimating spatial layout of rooms using volumetric reasoning about objects and surfaces. In: Advances in Neural Information Processing Systems, pp. 1288-1296.
S
edge
\mathrm{S}_{\text {edge}}
Sedge：在布局的边缘的线段像素数目，即生成假设的实直线线段越长越好
S
om & gc
\mathrm{S}_{\text {om \& gc}}
Som & gc：兼顾OM和GC
Orientation Map
方向图的主要概念是定义图像中哪些区域具有相同的方向。一个区域的方向由该区域法线的方向决定。如果一个区域属于XY曲面，那么它的方向是Z。
思想：
一个点如果由2个不同方向的线段支持，比如上图(1)中的点，由2个方向(绿、蓝)支持，所以(1)中的点的方向垂直于绿、蓝。
(2)中的点，由2个方向(红、蓝)支持，所以(2)中的点的方向垂直于红、蓝线。下方的绿线被蓝线阻挡，所以不能作为(2)中点的支持方向。
Geometric Context
大体来说，使用图像中已有线索：material, location, texture gradients, shading, and vanishing points. 对区域分块。
也可以使用简单的线束进行简单分割，使用grouping superpixels方法扩大分割区域。评估分割好坏(homogeneous)
其实就是传统方法对图像进行语义分割，理解超像素，利用Color, texture, edge, and vanishing points 作为线索(特征)
Orientation Map and Geometric Context Combination
在PanoContext(ECCV 2014)论文中，也使用OM和GC组合的方式，其在全景图中，上部分使用OM，下部分使用GC。这里作者解释为：由于PanoContext数据集中的大多数图像都是从单个房间中采集的，这种差异要么是由于大多数房间存在杂乱(OM表现不好原因？室内往往底部家具比较多)，要么是因为他们的模型是基于略微向下看的图像训练的。
实验结论就是：在图像的两边，GC优于OM，而图像中心，OM优于GC。
本文用的数据可能大多数都是这种消失点位于中心的图，所以两边往往是墙，更有可能有遮挡物，纹理更复杂，而往中心距离更远，遮挡影响相对减弱。
GC和OM组合:
组合前各种需要先标准化
结合OM给GC的区域设置方向，上式计算真实布局的方向和OM+GM组成方向平均误差。