PageRank计算

什么是Pagerank

-PageRank是Google提出的算法,用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。

-是Google创始人拉里.佩奇和谢尔盖.布林于1997年创造的

-PageRank实现了将链接价值概念作为排名因素

#计算环境

--Hadoop-2.7.1

--四台主机

--两台RM的HA

--离线计算框架MapReduce

算法原理

---思考超链接在互联网中的作用?

---入链====投票

           PageRank让链接来“投票”,到一个页面的超链接相当于该页投一票

---入链数量

            如果一个页面节点接收到的其他网页指向的入链数量越多,那么这个页面越重要。

---入链质量

            指向页面A的入链质量不同,质量高的页面会通过链接向其他页面传递更多的权重。所以越是质量高的页面指向页面A,则页面A越重要。

算法原理(2)

------初始值

                  Google的每个页面设置相同的PR值

                   pagerank算法给每个页面的PR初始值为1.

-------迭代计算(收敛)

                  Googel不断的重复计算每个页面的PageRank,那么经过不断的重复计算,这些页面的RP值会趋向于稳定,也就是收敛的状态。

                  在具体企业应用中怎么样确定收敛标准?

                   1.每个页面的PR值和上一次计算的PR相等

                    2.设定一个差值指标(0.0001),当所有页面和上一次计算的PR差值平均小于该标准时,则收敛

                   3.设定一个百分比(99%),当99%的页面和上一次计算的PR相等

 

上一篇:文本自动摘要:基于TextRank的中文新闻摘要


下一篇:Python中的页面排名