Website蝴蝶结构

Website蝴蝶结构

  网页的其正向链接连结在一起表现为一种蝴蝶结结构。

  Website蝴蝶结构

  1、蝴蝶结中部(SCC, Strongly Connected Componnet)

    这种网页彼此相连。

  2、蝴蝶结左部(IN)

    导航页居多,通过这类网页,可以正向链接到SCC。

  3、蝴蝶结右部(OUT)

    权威性网页,因为大多数SCC都链接向了这些站点。

  4、蝴蝶结的须脚(Tendrils)

    无论采用何种方法都只能遍历有限的网页。

  所以,scrawler尽量选择IN部分的网页,另外可以看出,正向链接远大于反向链接的网页,就是权威网页。

Website直径

  从网页A链接到网页B所需要的最少点击次数(即链接次数)称为A到B的最短路径。网络上所有的(u,v)网页对所构造的最短路径的平均值即为Web直径。根据计算,这个直径大概为17左右。

  网页出度,是一个网页所有的正向链接的个数。平均网页出席,即为所有网页出度的平均值,这个值大概为25-26左右。

  上面可以看到网络结构并非一个深度结构,而是一个较宽的结构。所以在构造scrawler时,多采用BFS。另外,可以根据网络直径,来进行有效的DFS,防止一条道走到黑。

网络的特征

  就像人口是在变化中稳定一样,网页数量也是一样。每天有大量的网页产生,每天也有大量的网页消失。大约23%的网页是每天更新,其中40%的.com网页每天更新。网页的半衰期为10天。

上一篇:pandas的map函数与apply函数的区别


下一篇:VMware Pro15虚拟机中安装centos8并且安装Gitlab服务器的解决方法