训练集、测试集、验证集的划分

fixed or random

fixed split：对dataset只划分一次

random split： 对dataset进行random split，但是对不同的random seed得到的performance做一个求平均。

graph is special

对于graph的划分不想documents或者image一样，因为不同的节点之间具有边进行相连，直接进行划分一个最大的问题就是存在message leakage。

Transductive

特点：训练、验证、测试数据都只是用简单将节点进行进行划分，计算的时候都是使用了整张图。

Inductive

将一张图split成多个子图，每一个子图都是相互独立的，不存在message leakage问题。

因为transductive setting作用在一张图上所以它无法用于graph tasks。

GCN与GraphSage

GCN就是transductive setting，而graphSage是inductive 方式。

三种任务

Node classification

在GCN中，虽然我们只对了一部分节点进行训练，也就是半监督学习，但实际上我们用到的还是整张图结构和features。在graphSage中，使用的inductive方式进行分类。

对于每一个minibatch实际上就是一个新的子图。

graph classification

一样的理论，但是只有inductive才可以做graph classification，因为它是作用的不同的子图上的。

Link Prediction

inductive

它将边分为message edges和Supervision edges，GNN用message edges来计算，用supervision edges做predict。

inductive 方式，我们会在不同的图上做train、validation、test。

Transductive

transductive link predict方式，在验证时会将train 的supervision edges 加入到message edges，在test时候，做类似的事情，会将valid 的supervision edges加入到message edges。

jure教授给出的视角：将这个过程视为边生长的过程，也就是引入了时序这个概念，train、valid、test分别对应在不同时间的图。

思考：既然可以视为一个时序数据，那对不同时刻的图，做graph2vec，然后输入到LSTM或者GRU里，是否可以做到预测？

另一个思考的视角：将supervision视为一个mask，引入在之前分享提到的多头 attention机制，用attention进行来训练。这个有点类似于bert里的预训练过程，可以随机随选mask边进行training，最后再做一个预测。

How Powerful are Graph Neural Networks

以这张图为例，我们不用node features，也就是所有节点的features一样，于是用黄色给每个节点标了颜色代表节点特征。

可以看到我们可以区分node 1 和node 5的，因为两个节点的度不一样。

对于node 1和node 4 我们虽然没法直接用degree来区分，但可以用其邻居节点的degree进行区分。

但是对于node 1和node 2我们是没有办法进行区分的。

可以看到node 1 和node 2的计算图是一样的，注意这个节点的标号其实是不存在的，我们只能够看到structure和node features，因为所有节点都是黄色，所有节点的features都一样。

我们将这个graph的所有节点的计算图写出来，可以看到这五个节点可以划分为四种计算图。

那么说，最强的GNN能做什么呢？

最强的GNN应当可以将每一种不同的节点embedding为不同的向量。

那么这个GNN这就应当是一个单射函数，我们不同种的node可以映射为不同向量。

不同的aggregate function

max pool

---

待续