Graph Self-Supervised Learning: A Survey

作者：Philip S. Yu等

主要工作：

• 对图自监督学习进行归类
• 总结了已有的图自监督学习的工作
• 提出了对后续的图自监督学习工作方向的展望
• 相较于已有的图自监督学习综述，他们的工作对这块分得更科学更细致

---

Introduction 部分

​ 自监督学习是一个正在快速发展的用于解决（半）监督学习的缺点的学习范式。通过训练模型解决精心设计的中间任务，自监督学习可以帮助模型从未标记的数据中学习到更泛化的表示，以此在下游任务上达到更好的性能和泛化表现。

背景知识

1. 图的背景知识：

   • 点集、边集、邻接矩阵
   • 有属性图与无属性图
   • 时空图
   • 同质图与异质图

2. 下游的图分析任务

   • 节点级任务
     • 节点分类
   • 链接级任务
     • 链接预测：预测两个节点间是否产生链接
   • 图级别任务
     • 图分类：预测出属性

3. 图神经网络

   • a ⃗ i ( k ) = A G G R E G A T E ( k ) ( { h ⃗ j ( k − 1 ) : v j ∈ N ( v i ) } ) , h ⃗ i ( k ) = C O M B I N E ( k ) ( h ⃗ i ( k − 1 ) , a ⃗ i ( k ） \vec a_i^{(k)}=\mathtt{AGGREGATE}^{(k)}(\{\vec h_j^{(k-1)}:v_j\in N(v_i)\}),\\ \vec h_i^{(k)}=\mathtt{COMBINE}^{(k)}(\vec h_i^{(k-1)},\vec a_i^{(k}） a i(k)​=AGGREGATE(k)({h j(k−1)​:vj​∈N(vi​)}),h i(k)​=COMBINE(k)(h i(k−1)​,a i(k​）

     • h ⃗ i ( k ) \vec h_i^{(k)} h i(k)​是节点 v i v_i vi​在第k层的表示

   • h ⃗ G = R E A D O U T ( { h ⃗ i ( k ) ∣ v i ∈ V } ) \vec h_G = \mathtt {READOUT}({\{\vec h_i^{(k)}|v_i\in V\}}) h G​=READOUT({h i(k)​∣vi​∈V})

     • h ⃗ G \vec h_G h G​是图的表示，使用 R E A D O U T \mathtt {READOUT} READOUT遍历图中节点表示得到

4. 自监督学习模式

   

   • 预训练&微调（PT&FT)
     • 编码器首先对中间任务进行预训练，然后在下游任务上应用训练好的网络参数。
   • 联合学习（JL）
     • 编码器联合训练中间任务和下游任务。该模式中 loss function 由自监督的 loss 和下游任务的 loss 共同组成，有一个 trade-off 的超参数控制了他们的贡献。可以被看作一种多任务学习。
   • 无监督表示学习（URL)
     • 第一阶段与 PT&FT 类似，但是在下游任务阶段，URL不更改网络参数。

图自监督学习方法

1. Masked Feature Regression（MFR)
   • MFR 关注在遮罩下预测节点属性，该任务也被称为图补全。
     • Generative image inpainting with contextual attention. CVPR, 2018.
     • When does self-supervision help graph convolutional networks?. ICML, 2020.
     • Self-supervised learning on graphs: Deep insights and new direction. arxiv preprint.
     • Strategies for pre-training graph neural networks. ICLR, 2020.
     • Graph-based neural network models with multiple self-supervised auxiliary tasks. arxiv preprint.
2. Auxiliary Property Prediction(APP)
   与 MFR 不同，APP 从基本的图的结构和属性信息可以构建出多种的中间任务，并且提供自监督的信号。文中将其分为两种：
   • Regression-based Approach（R-APP)
     • 预测图中的数值结构和属性信息。旨在通过增强特征转换避免局部结构过平滑。
     • Self-supervised learning on graphs: Deep insights and new direction. arxiv preprint.
   • Classification-based Approach(C-APP)
     • C-APP 依赖伪标签进行快速的模型训练。
     • Multi-stage self-supervised learning for graph convolutional networks on graphs with few labeled nodes. AAAI, 2020.
     • Deep clustering for unsupervised learning of visual features. ECCV, 2018.
     • When does self-supervision help graph convolutional networks?. ICML, 2020.
     • Pre-training graph neural networks for generic structural feature extraction. arxiv preprint.
     • Cluster-aware graph neural networks for unsupervised graph representation learning. arxiv preprint.
     • Self-supervised graph transformer on large-scale molecular data. NeurIPS, 2020.