消失点：Fast and Accurate Vanishing Point Detection in Complex Scenes

1.韦伯定律1.1 WLD1.2 WOD 算法实现获得WOD提取道路线索区域LVS获得消失点 文章中算法的大体框架如下：

首先，通过WOD获取图像的特征。然后，基于差励计算出有效的道路线索。最终，使用文中提出的line-voting scheme (LVS)检测出主消失点。

1.韦伯定律

韦伯定律是表明心理量和物理量之间关系的定律，即感觉的差别阈值跟随原来刺激量的变化而变化，而且表现为一定的规律性。用公式来表示，就是： $$\frac{\Delta I}{I}=k$$ 其中$I$为原刺激量，$\Delta I$为此时的差别阈值，$k$为常数，又称韦伯率。

1.1 WLD

由此引出了韦伯局部描述子（Weber Local Descriptor)来描述局部图像纹理特征。原始的WLD由两个部分组成：差励（differential excitation$\xi wld$）和方向（$\theta wld$）。

差励部分由两项的比例计算：

当前像素$p_c$和它的邻域$p_i$（$k\ast k$的内核）的相对光强差的和。 2.当前像素的光强$p_c$。

为了将结果限制在一个有限的区间范围内，采用了arctan函数来表达公式。因此，当前像素的差励可以计算为： $${\xi }_{wld}\left(p_c\right)=\arctan \left(\sum _{i=1}^n\frac{\left|p_i-p_c\right|}{p_c}\right)$$ WLD的方向部分是一个梯度方向，可以快速的得到稳定的结果。Arctangent函数也可以用当前像素$p_c$在y轴方向上的差值$d_y(p_c)$和在x轴方向上的差值$d_x(p_c)$的比例来计算。因此，在方向部分的差值可以计算为： $${\theta }_{wld}\left(p_c\right)=\arctan \left(d_y\left(p_c\right)/d_x\left(p_c\right)\right)$$

1.2 WOD

虽然WLD有着小的计算复杂度，在运行速度上还算快，但是它降低了描述子的精度，因此它仅作为了消失点检测的基础。相比之下，文中设计了一款Weber Orientation Descriptor,也由两个部分组成：更精确的差励和更精确的方向来解决文中WLD的缺陷。

差励的组成与之前不同，每一个相邻像素$p_i$被换成了所有相邻像素的平均光强${\bar{p}}_i$。这样，可以减少不同内核大小带来的相邻像素个数的影响。

$$G\left(p_c\right)=\arctan \left(\frac{p_c-{\bar{p}}_i}{p_c}\right)$$

在公式中，仅考虑$G$大于零的响应，因为在暗处和阴影区域的方向是不可信的。平方根函数被用在了上述函数的结果中。平方根函数的作用是：减小更大的值相对于更小的值的变化，使得差励部分对较小的值更为敏感。因此，差励被计算为： $${\xi }_{wod}\left(p_c\right)=\{\begin{array}{ll}\sqrt{G\left(p_c\right)}& \text{ if }G\left(p_c\right)\ge 0\\ 0& \text{ if }G\left(p_c\right)<0\end{array}$$ 在WLD中，方向部分仅使用到了在x轴与y轴方向的像素。它忽略了内核中其他像素的细节，这也许会导致在方向估计上的错误。我们使用Gabor filter，它可以使用内核中所有的像素，来更精准的估计在每个像素上的局部主要方向。Gabor滤波器组是目前估计局部纹理方向的最佳滤波器之一，广泛应用于指纹分类等领域。一个二维的$k\times k$Gabor内核$g$，在一个特定的方向${\phi }_n$和一个径向频率$\omega$下，可以表示为： $$g_{{\phi }_n}(x,y)=e^{-\frac{1}{8{\sigma }^2}\left(4a^2+b^2\right)}\cdot \left(ia\omega -e^{c^2/2}\right)$$ 该函数中，$(x,y)=（0,0)$为内核中心位置; $a=x\cos {\phi }_n+y\sin {\phi }_n$; $b=-x\sin {\phi }_n+y\cos {\phi }_n$; $\sigma =k/9$; $c=2.2$。

为了估计在图像中每个像素位置$p_c$的主方向${\theta }_a(p_c)$，灰度输入图$I(p_c)$使用了36个预定义方向$(0^{\circ },5^{\circ },...175^{\circ })$的一组Gabor滤波器卷积。Gabor energy$E_{{\phi }_n}$被计算为复合滤波相应的幅值。 $$E_{{\phi }_n}\left(p_c\right)=\mathrm{Re}{\left({\hat{I}}_{{\phi }_n}\left(p_c\right)\right)}^2+\mathrm{Im}{\left({\hat{I}}_{{\phi }_n}\left(p_c\right)\right)}^2$$ 其中${\hat{I}}_{{\phi }_n}\left(p_c\right)=I\left(p_c\right)\otimes g_{{\phi }_n}$且$\otimes$代表卷积算子。卷积结果${\hat{I}}_{{\phi }_n}\left(p_c\right)$由两部分组成，一个实部$Re$和一个虚部$Im$。因此我们计算复合响应的平方范数来获得稳定的局部纹理特性。

最终，滤波器给出最大复合相应的方向，被选为了实际方向，即： $${\theta }_{wod}\left(p_c\right)={\mathrm{Argmax}}_{{\phi }_n}{E}_{{\phi }_n}\left(p_c\right)$$

算法实现

获得WOD

给定一个输入图像，首先使用中值滤波卷积来降低噪声和图像缺陷。图像被转换成了灰度空间，${\xi }_{wod}$和${\theta }_{wod}$将通过WOD模型获得。

一个比较重要的需要考虑的点是如何在WOD中设定内核大小$k$的值。更大的$k$值可以让更多的纹理信息被考虑，但会使结果缺少局部代表性。

提取道路线索区域

根据韦伯定律，任何有效区域仅当差励大于一个固定的比率$T$时才值得注意，而更小的被当成了背景噪声。减小背景噪声的效果可以提高模型的精度。更多的道路线索，能得到更准确的结果。因此，T需要被设置的足够小。

LVS获得消失点

在完成了上述的步骤之后，可以为图像区域的消失点投票。投票的方案有：hard-voting scheme, soft-voting scheme, weighting-voting scheme。文中提出了line-voting scheme（讲道理，这个时间复杂度有点长（等等，我可以试试，累加器只用中间特别小的一部分，因为消失点的上下浮动区域会特别小））。

首先，构建一个与图片大小相同的累加器空间，将值均设为0。然后，有效区域内的每一个像素都可以被看成一个voter，如果候选消失点在它的位置和方向的线上，所对应的累加器位置值增加1。最终，累加器值最大的位置被选定为所估计的消失点。