深入理解搜索引擎——索引技术解读

当你在搜索引擎的搜索框中输入你想查找的关键词后,首先影响你体验的并非是不相关的搜索结果,而是界面出现“loading”、“服务正在加载中”、“搜索响应失败”等字眼。据统计,搜索页面的加载时间会严重影响用户的搜索体验,进而丢失掉优质用户。如下图:

深入理解搜索引擎——索引技术解读


索引到底是什么?我们今天就来絮叨絮叨。
从图中可发现,搜索加载超过1s就会直接影响页面放弃率,1s是用户的观感界限,所以搜索引擎的响应时间是需要着重优化的。然而无论是大搜还是垂搜,随着大数据时代的发展,被查询记录数都是数以亿计,甚至万亿计。搜索引擎是如何在大数据体量做到ms级返回的,这里就牵扯到索引的概念了。

?

先举个例子:

假如你是一位创业者,最开始你的公司只有10个打工人,某一天,你想找到其中几位有“销售经验”的人组建一销售团队,我相信你一个个询问、排除也很快能找出来的。这就是所谓的遍历查询

几个月后,你拿到了一笔投资,你的团队也从10个人扩充到了100个人,这个时候你想找有“运营经验”的员工组建运营团队,发现一个个询问有点力不从心了,于是你想了个办法,提前将100个人,分到10个部门,你想找各种经验的人,直接到对应的职能部门让部门经理找就可以。这就是搜索中的正排索引。如下图:

深入理解搜索引擎——索引技术解读


后来随着公司的爆发式增长,你的公司现在有1w人了,部门已经是事业群了,组织架构也从之前的单层升级到多层,这时你想找到有“全栈经验”的开发工程师组建新的团队开发新的产品,发现把找人任务分下去后“疯了”,因为很有可能找完1w个人之后才能找到合适的人,这个时候你又想到一招,反过来思考,我既然最终要找的是人,那么我就以人为中心建立一套标准,先找到对应的人,再根据对应的人反推属于哪个部门,再让这个部门经理找自己团队还有没有符合要求的人,这样范围不是减小了很多吗?也大大提升了效率。这就是所谓的倒排索引

深入理解搜索引擎——索引技术解读

【正排索引】

正排索引也叫正向索引(forward index),在蜘蛛爬取页面后,系统将页面标题、内容,经过文本预处理,可以得到独特的、能反应页面的主题内容、以词为单位的字符串。搜索引擎索引程序就可以提取关键词信息,包含出现次数,位置等,为该页面建立页面id与关键词的对应关系,而这个过程就叫做正排索引。

以例子来说明,现在有5篇关于“胡歌”的资讯,如下:

深入理解搜索引擎——索引技术解读
根据5篇资讯的标题,建立正排索引如下:

深入理解搜索引擎——索引技术解读


【倒排索引】

从上图可发现,此种方法结构比较简单,索引建立起来也比较方便,如果有文档添加时,直接按照此格式在后面添加索引块即可。如若需要删除,也指定id删除即可找到对应的所有信息直接删除即可。但是在查询的时候当你不知道你查询的内容的id是多少时,只能从1001扫描至1005,才能确保召回数没有遗漏,因此检索效率是及其低下

由于正排的查询效率实在太低,所以就有了倒排索引,也叫反向索引(inverted index)。在建立索引过程,将正排索引中的id对应的所有的关键词进行反转,建立一套以关键词为准的在哪个文档中出现过的索引,如下:

深入理解搜索引擎——索引技术解读


【摘要索引】

由上图可知,如果要查询“猫”,只查询id为1003的文档即可,缩小了查询范围,提升了查询效率。倒排索引有着广泛的应用场景,比如:不仅用于搜索引擎、大规模数据库索引、文档检索、多媒体检索/信息检索领域等等。总之,倒排索引在检索领域是很重要的一种索引机制。

除此之外,还有摘要索引用于部分场景的搜索效率提升,摘要索引将文档所需返回展示的对应信息存储在一起,通过Doc_id可以定位该文档的存储位置,并获取对应的摘要信息,为用户提供摘要获取服务。摘要索引的结构和正排索引类似,但其功能不同,其结构如下:

深入理解搜索引擎——索引技术解读


【分布式索引】

以上几种索引都是索引的结构,但仅仅使用这些索引结构进行优化是不够的,还需要在架构层面进行索引优化,既所谓的分布式索引,开源的solr和Elasticsearch都支持分布式索引,根据文档的id计算hash值,负载均衡将索引写入至对应的分片,以Elasticsearch为例,看下如下过程:

?

深入理解搜索引擎——索引技术解读

?

Node-1和Node-2为ES集群的两个节点,根据不同的id值hash后 ,写入不同的节点。查询过程基于整个集群并行查询,提升查询效率。

现实中无论大搜还是垂搜,都使用了以上的索引结构及架构,大厂甚至部署了集群+集群的方式来支撑高并发,来实现高性能。但每个集群下每个节点都需要索引来支撑,所以效率是搜索的门户

?


深入理解搜索引擎——索引技术解读

最后欢迎关注同名微信公众号:药老算法(yaolaosuanfa),带你领略搜索、推荐等数据挖掘算法魅力。

深入理解搜索引擎——索引技术解读

上一篇:Latex使用记录


下一篇:27、Mybatis-plus整合多数据源