图神经网络(十):FASTGCN: FAST LEARNING WITH GRAPH CONVOLUTIONAL NETWORKS VIA IMPORTANCE SAMPLING

一句话概括该论文:
这篇论文提出了fastGCN,它的主要思想是将图节点解释为某种概率分布下的独立同分布样本,并将损失和每个卷积层写为关于顶点嵌入函数的积分。然后,通过定义样本损失和样本梯度的蒙特卡洛近似对积分进行评估。

Introduction:
研究背景:

尽管17年的GCN获得了比较好的结果,但由于GCN在训练时需要知道图的所有数据,因此是Transductive的,而对于现实世界来说,图中的节点是不断变化的,因此一个Indutive的模型是急需的。并且GCN面临的一个更严峻的挑战是,在批量训练中,跨层递归扩展邻域的代价很大。特别是对于稠密图和幂律图,单顶点邻域的扩展很快占据了图的很大一部分,mini-batch训练即使在batch size很小的时候,也会涉及到和每个batch相关的大量数据。因此,为了使GCN适用于大型、密集的图,可扩展性是一个迫切需要解决的问题。

作者在研究什么:
作者在研究一种Inductive的模型且该模型可广泛应用于大图,同时极大的减少模型的复杂度。

作者的贡献是什么?
将图卷积看作是一种概率测度下embedding函数的积分变换,这种方式为inductive学习提供了一个理论支持。具体来说,此文将图的顶点解释为某种概率分布下的独立同分布的样本,并将损失和每个卷积层作为顶点embedding函数的积分。然后,通过定义样本的损失和样本梯度的蒙特卡罗近似计算积分,并且可以进一步改变采样分布(如在重要性采样中)以减小近似方差。

作者提出的模型:<

上一篇:问题解决笔记,Restarting network (via systemctl):: Job for network.service failed. ...


下一篇:Bayesian Learning via Stochastic Gradient Langevin Dynamics