一言以蔽之,DeepWalk是在graph上,通过随机游走来产生一段定长的结点序列,并将其通过word2vec的方式获得各个结点的embedding的算法。
DeepWalk一共涉及以下几个内容:
- 随机游走的一些知识
- DeepWalk如何做随机游走
- Word2Vec的一种训练方式
DeepWalk 使用图中节点与节点的共现关系来学习节点的向量表示。在描述节点与节点的共现关系的过程中,DeepWalk 给出的方法是使用随机游走 (RandomWalk) 的方式在图中进行节点采样。
随机游走
随机游走(Random Walk)是一种数学统计模型,它是一连串的轨迹所组成,其中每一次都是随机的。它能用来表示不规则的变动形式,如同一个人酒后乱步,所形成的随机过程记录.通常,随机游走一个简单的随机游走的例子是在整数在数轴上的随机游走,它从0开始,然后每一步以相同的概率移动+1或−1, 那么在图上的随机游走也按等概率的原则,随机的选取当前结点的邻居结点作为下一次访问的结点:所以理论上,RandomWalk 是一种可重复访问已访问节点的深度优先遍历算法。给定当前访问起始节点,从其邻居中随机采样节点作为下一个访问节点,重复此过程,直到访问序列长度满足预设条件。
DeepWalk的随机游走
这里贴一张DeepWalk的算法
uploading-image-790981.png
算法包含几个重要的参数:
- \(w\): Word2Vec的采样窗口大小
- \(d\): 每个结点embedding的维度
- \(\gamma\):这个参数意思是我要重复\(\gamma\)次从不同结点进行随机游走的次数,可以理解为进行\(\gamma\) 个 epoch
- \(t\): 游走的长度,也就是结点的数量
上面的\(\gamma\)意思也就是希望多重复几次相同开始结点的随机游走,作者认为这样能加快随机梯度下降的收敛速度。
具体实现层面:
我们可以把\(\gamma\)并行化处理,其次,算法中的shuffle(V)的话其实就是把所有的node都全部打乱,然后挨个的遍历一遍并做随机游走。在随机游走的时候,我们可能并不能保证每次都能拿到规定的长度,这时候可以不用管,直接break掉,有多少算多少,因为这些后面可以交给Word2Vec进行处理。
模拟一下随机游走:
def deepwalk_walk(walk_length, start_node):
walk_seq = [start_node]
while len(walk_seq) < walk_length:
curr_node = walk[-1]
cur_node_nbrs = list(G.neighbors(curr_node))
if len(cur_node_nbrs) > 0:
walk.append(random.choice(curr_node_nbrs))
else:
break
return walk_seq
Word2Vec的训练方式
拿到结点序列之后,我们将其看作是一段自然语言序列,这样就可以顺其自然的送到W2V里面train。