Hypergraph Neural Networks超图神经网络

摘要:提出了一种超图表示学习的超图卷积网络,包括一种新的超图卷积操作来挖掘用户之间的关系。

引言:

图神经网络可以使用数据图结构,编码不同数据。

传统GCN存在的问题:①不能表达成对的复杂关系②数据表示趋向于多模态

Hypergraph Neural Networks超图神经网络

解决问题:提出HGNN:使用超图编码高阶数据关系,使用超图连接多模态关系

相关工作:

        超图学习:超图结构首次提出:最小化顶点之间的标签差异-》超图学习应用于视频物体分割-》应用于图像之间的关系,并建模图像排序-》开始学习超边权重改善超边结构,局部权重,相似的超边有相似的权重-》对于多模态数据,引入多超图,对每一个子超图设置权重

       图神经网络:

将神经网络应用在图中-》RNN

图卷积两种方式:

①谱方法:在图谱域中进行图卷积,类比傅里叶变换到图拉普拉斯特征基-》参数化谱过滤器-》kipf和welling将chebyshev多项式简化为一阶多项式,形成高效的分层传播模型(GCN)

②空间方法:空间封闭节点中进行图卷积:高斯混合矩阵-》注意力机制运用到分类模型中

超图神经网络:

谱卷积:给定超图G=(V,ε,W),n个顶点,顶点集-边集-边权重,得到超图卷积层公式,可以充分挖掘数据的高阶关系:

Hypergraph Neural Networks超图神经网络

Hypergraph Neural Networks超图神经网络 :Hypergraph Neural Networks超图神经网络

 超图卷积公式的图解释:

 Hypergraph Neural Networks超图神经网络

 Dv是归一化,H是关联矩阵N*E,W是边权重对角矩阵,De是边的度矩阵

直观解释:超图卷积实现了节点-超边-节点的转换

①节点维度C1->C2的转换:XΘ:通过滤波器Θ(C1*C2)对节点特征X进行处理,将维度N*C1转换为N*C2

 ②由超边节点->超边表示:H^T*XΘ,其中H^T为E*N的矩阵(类似于边和节点的邻接矩阵),使用卷积得到超边的表示E*C2

③由超边表示聚合->节点表示:H*W*De*(H^T*XΘ),其中H为N*E的矩阵(类似于节点和边的邻接矩阵),使用卷积得到节点的表示N*C2

扩展到多模态数据:

Hypergraph Neural Networks超图神经网络

Hypergraph Neural Networks超图神经网络

和当前方法的关系(优势):

当超边节点只有2的时候,超图拉普拉斯转化为简单图拉普拉斯矩阵的1/2,

可以提取特征挖掘数据间的高阶关系,计算量小,

超边生成的方式比较简单,所以可扩展到多模态数据

实现:

①构建超图

以视觉对象分类为例:

节点:视觉对象图片

超边关系:节点和距离其最近的K个节点,距离:欧氏距离->N条大小为K+1的超边

H:N*N

同理,引文分类根据邻接矩阵可以得到N*N的关联矩阵

②节点分类模型:

两层HGNN,得到关联矩阵H和度矩阵De,

激活函数:softmax

损失函数:交叉熵,反向传播更新参数θ

多模态数据:融合超边,建模复杂关系

实验

①引文网络分类:

数据:

Hypergraph Neural Networks超图神经网络

 特征表示:词袋模型

生成关联矩阵:N*N,和原始矩阵相似

实验设置:

        特征维度:16,dropout:0.5,Adam优化器,学习率:0.001

        训练测试比例:Cora-5%训练,Pubmed:0.3%训练

Hypergraph Neural Networks超图神经网络

 结果和讨论:有提升,但是提升不是很大,原因:没有引入其他信息,图的结构相似

 ②视觉物体分类

数据集:Princeton ModelNet40 dataset:包含12311个40种物体照片,9,843训练,2,468测试

        NTU数据集,2,012个67种物体照片 ,80%训练,20%测试

特征表示:两种形状 表示方法:MVCNN、GVCNN

 关联矩阵:因为3D物品中没有可用的图矩阵,所以根据欧氏距离构建概率矩阵A:

Hypergraph Neural Networks超图神经网络

         在构建简单图时:平均两个特征的邻接矩阵作为最后的混合图矩阵

Hypergraph Neural Networks超图神经网络

 构建视觉超图的两种方法:①只使用单一特征②使用多模态特征(包括上面提到的两种特征)

 第一种方法使用KNN构建N*N的关联矩阵,第二种方法对于第i个特征会对应生成一个邻接矩阵Hi,最后将所有特征的邻接矩阵concatenate到一起形成H。如图:

Hypergraph Neural Networks超图神经网络

实验结果和结论对比

 实验对比:feature(使用的特征矩阵)feature for structure:生成关联矩阵使用的特征Hypergraph Neural Networks超图神经网络

 Hypergraph Neural Networks超图神经网络

结论:

HGNN比现有的分类方法更有效比如GCN,可以传播高阶关系,在有多模态特征信息的时候,提升效率会更高。

上一篇:文献笔记|会话推荐|DHCN: Self-Supervised Hypergraph Convolutional Networks for Session-based Recommendation


下一篇:2020小米选拔赛D 二维差分套前缀和 Matrix Subtraction