geohash:多维空间点的编码方法和索引算法

可能是专业限制吧,相对于索引算法,我更偏向于geohash是一种编码方式,但编码也是为了方便检索嘛;就像Rtree也算是一种索引算法,但我还是更偏向于它是一种数据组织形式。

我们了解geohash的原理就行,因为它毕竟是最常用的空间数据检索算法或编码方法。常用的空间数据库或程序包,很多都内嵌了geohash,例如postgis、jts、shapely等。Postgresql、MySQL等数据库,存储几何数据,用的也是geohash编码。

所以不要太纠结,geohash到底是一个索引算法,还是编码方式,它都是。

 

以下原理部分,我仅仅是从(https://halfrost.com/go_spatial_search/)做了个搬运,这个是我看写geohash比较清楚的了。

 

1. Geohash 算法简介

Geohash 是一种地理编码,由 Gustavo Niemeyer 发明的。它是一种分级的数据结构,把空间划分为网格。Geohash 属于空间填充曲线中的 Z 阶曲线(Z-order curve)的实际应用。

 

何为 Z 阶曲线?

 

geohash:多维空间点的编码方法和索引算法

 

上图就是 Z 阶曲线。这个曲线比较简单,生成它也比较容易,只需要把每个 Z 首尾相连即可。

 

geohash:多维空间点的编码方法和索引算法

Z 阶曲线同样可以扩展到三维空间。只要 Z 形状足够小并且足够密,也能填满整个三维空间。

Geohash算法的理论基础就是基于Z曲线的生成原理。继续说回 Geohash。

 

Geohash 能够提供任意精度的分段级别。一般分级从 1-12 级。

 

geohash:多维空间点的编码方法和索引算法

 

我们可以利用 Geohash 的字符串长短来决定要划分区域的大小。这个对应关系可以参考上面表格里面 cell 的宽和高。一旦选定 cell 的宽和高,那么 Geohash 字符串的长度就确定下来了。这样我们就把地图分成了一个个的矩形区域了。

 

地图上虽然把区域划分好了,但是还有一个问题没有解决,那就是如何快速的查找一个点附近邻近的点和区域呢?

 

Geohash 有一个和 Z 阶曲线相关的性质,那就是一个点附近的地方(但不绝对) hash 字符串总是有公共前缀,并且公共前缀的长度越长,这两个点距离越近。

 

由于这个特性,Geohash 就常常被用来作为唯一标识符。用在数据库里面可用 Geohash 来表示一个点。Geohash 这个公共前缀的特性就可以用来快速的进行邻近点的搜索。越接近的点通常和目标点的 Geohash 字符串公共前缀越长(但是这不一定,也有特殊情况,下面举例会说明)

 

Geohash 也有几种编码形式,常见的有2种,base 32 和 base 36。

 

geohash:多维空间点的编码方法和索引算法

 

base 36 的版本对大小写敏感,用了36个字符,“23456789bBCdDFgGhHjJKlLMnNPqQrRtTVWX”。

geohash:多维空间点的编码方法和索引算法

 

 

2. Geohash 实际应用举例

接下来的举例以 base-32 为例。举个例子。

geohash:多维空间点的编码方法和索引算法

 

 

上图是一个地图,地图中间有一个美罗城,假设需要查询距离美罗城最近的餐馆,该如何查询?

 

第一步我们需要把地图网格化,利用 geohash。通过查表,我们选取字符串长度为6的矩形来网格化这张地图。

 

经过查询,美罗城的经纬度是[31.1932993, 121.43960190000007]。

 

先处理纬度。地球的纬度区间是[-90,90]。把这个区间分为2部分,即[-90,0),[0,90]。31.1932993位于(0,90]区间,即右区间,标记为1。然后继续把(0,90]区间二分,分为[0,45),[45,90],31.1932993位于[0,45)区间,即左区间,标记为0。一直划分下去。

 

geohash:多维空间点的编码方法和索引算法

再处理经度,一样的处理方式。地球经度区间是[-180,180]

 

geohash:多维空间点的编码方法和索引算法

 

纬度产生的二进制是101011000101110,经度产生的二进制是110101100101101,按照**“偶数位放经度,奇数位放纬度”**的规则,重新组合经度和纬度的二进制串,生成新的:111001100111100000110011110110,最后一步就是把这个最终的字符串转换成字符,对应需要查找 base-32 的表。11100 11001 11100 00011 00111 10110转换成十进制是 28 25 28 3 7 22,查表编码得到最终结果,wtw37q。

 

我们还可以把这个网格周围8个各自都计算出来。

 

geohash:多维空间点的编码方法和索引算法

 

从地图上可以看出,这邻近的9个格子,前缀都完全一致。都是wtw37。

 

如果我们把字符串再增加一位,会有什么样的结果呢?Geohash 增加到7位。

geohash:多维空间点的编码方法和索引算法

 

 

当Geohash 增加到7位的时候,网格更小了,美罗城的 Geohash 变成了 wtw37qt。

 

看到这里,读者应该已经清楚了 Geohash 的算法原理了。咱们把6位和7位都组合到一张图上面来看。

 

 

geohash:多维空间点的编码方法和索引算法

可以看到中间大格子的 Geohash 的值是 wtw37q,那么它里面的所有小格子前缀都是 wtw37q。可以想象,当 Geohash 字符串长度为5的时候,Geohash 肯定就为 wtw37 了。

 

接下来解释之前说的 Geohash 和 Z 阶曲线的关系。回顾最后一步合并经纬度字符串的规则,“偶数位放经度,奇数位放纬度”。读者一定有点好奇,这个规则哪里来的?凭空瞎想的?其实并不是,这个规则就是 Z 阶曲线。看下图:

 

geohash:多维空间点的编码方法和索引算法

 

x 轴就是纬度,y轴就是经度。经度放偶数位,纬度放奇数位就是这样而来的。

 

最后有一个精度的问题,下面的表格数据一部分来自 Wikipedia。

geohash:多维空间点的编码方法和索引算法

 

 

 

3. Geohash 的优缺点

Geohash 的优点很明显,它利用 Z 阶曲线进行编码。而 Z 阶曲线可以将二维或者多维空间里的所有点都转换成一维曲线。在数学上成为分形维。并且 Z 阶曲线还具有局部保序性。

 

Z 阶曲线通过交织点的坐标值的二进制表示来简单地计算多维度中的点的z值。一旦将数据被加到该排序中,任何一维数据结构,例如二叉搜索树,B树,跳跃表或(具有低有效位被截断)哈希表 都可以用来处理数据。通过 Z 阶曲线所得到的顺序可以等同地被描述为从四叉树的深度优先遍历得到的顺序。

 

这也是 Geohash 的另外一个优点,搜索查找邻近点比较快。

 

Geohash 的缺点之一也来自 Z 阶曲线。

 

Z 阶曲线有一个比较严重的问题,虽然有局部保序性,但是它也有突变性。在每个 Z 字母的拐角,都有可能出现顺序的突变。

geohash:多维空间点的编码方法和索引算法

 

 

看上图中标注出来的蓝色的点点。每两个点虽然是相邻的,但是距离相隔很远。看右下角的图,两个数值邻近红色的点两者距离几乎达到了整个正方形的边长。两个数值邻近绿色的点也达到了正方形的一半的长度。

 

Geohash 的另外一个缺点是,如果选择不好合适的网格大小,判断邻近点可能会比较麻烦。

4.其他资料

关于geohash的介绍,*写的也很清楚:

https://en.wikipedia.org/wiki/Geohash

 

 

 

 

上一篇:MySQL附近功能


下一篇:Redis GeoHash核心原理解析