摘要:提出了一种超图表示学习的超图卷积网络,包括一种新的超图卷积操作来挖掘用户之间的关系。
引言:
图神经网络可以使用数据图结构,编码不同数据。
传统GCN存在的问题:①不能表达成对的复杂关系②数据表示趋向于多模态
解决问题:提出HGNN:使用超图编码高阶数据关系,使用超图连接多模态关系
相关工作:
超图学习:超图结构首次提出:最小化顶点之间的标签差异-》超图学习应用于视频物体分割-》应用于图像之间的关系,并建模图像排序-》开始学习超边权重改善超边结构,局部权重,相似的超边有相似的权重-》对于多模态数据,引入多超图,对每一个子超图设置权重
图神经网络:
将神经网络应用在图中-》RNN
图卷积两种方式:
①谱方法:在图谱域中进行图卷积,类比傅里叶变换到图拉普拉斯特征基-》参数化谱过滤器-》kipf和welling将chebyshev多项式简化为一阶多项式,形成高效的分层传播模型(GCN)
②空间方法:空间封闭节点中进行图卷积:高斯混合矩阵-》注意力机制运用到分类模型中
超图神经网络:
谱卷积:给定超图G=(V,ε,W),n个顶点,顶点集-边集-边权重,得到超图卷积层公式,可以充分挖掘数据的高阶关系:
:
超图卷积公式的图解释:
Dv是归一化,H是关联矩阵N*E,W是边权重对角矩阵,De是边的度矩阵
直观解释:超图卷积实现了节点-超边-节点的转换
①节点维度C1->C2的转换:XΘ:通过滤波器Θ(C1*C2)对节点特征X进行处理,将维度N*C1转换为N*C2
②由超边节点->超边表示:H^T*XΘ,其中H^T为E*N的矩阵(类似于边和节点的邻接矩阵),使用卷积得到超边的表示E*C2
③由超边表示聚合->节点表示:H*W*De*(H^T*XΘ),其中H为N*E的矩阵(类似于节点和边的邻接矩阵),使用卷积得到节点的表示N*C2
扩展到多模态数据:
和当前方法的关系(优势):
当超边节点只有2的时候,超图拉普拉斯转化为简单图拉普拉斯矩阵的1/2,
可以提取特征挖掘数据间的高阶关系,计算量小,
超边生成的方式比较简单,所以可扩展到多模态数据
实现:
①构建超图
以视觉对象分类为例:
节点:视觉对象图片
超边关系:节点和距离其最近的K个节点,距离:欧氏距离->N条大小为K+1的超边
H:N*N
同理,引文分类根据邻接矩阵可以得到N*N的关联矩阵
②节点分类模型:
两层HGNN,得到关联矩阵H和度矩阵De,
激活函数:softmax
损失函数:交叉熵,反向传播更新参数θ
多模态数据:融合超边,建模复杂关系
实验
①引文网络分类:
数据:
特征表示:词袋模型
生成关联矩阵:N*N,和原始矩阵相似
实验设置:
特征维度:16,dropout:0.5,Adam优化器,学习率:0.001
训练测试比例:Cora-5%训练,Pubmed:0.3%训练
结果和讨论:有提升,但是提升不是很大,原因:没有引入其他信息,图的结构相似
②视觉物体分类
数据集:Princeton ModelNet40 dataset:包含12311个40种物体照片,9,843训练,2,468测试
NTU数据集,2,012个67种物体照片 ,80%训练,20%测试
特征表示:两种形状 表示方法:MVCNN、GVCNN
关联矩阵:因为3D物品中没有可用的图矩阵,所以根据欧氏距离构建概率矩阵A:
在构建简单图时:平均两个特征的邻接矩阵作为最后的混合图矩阵
构建视觉超图的两种方法:①只使用单一特征②使用多模态特征(包括上面提到的两种特征)
第一种方法使用KNN构建N*N的关联矩阵,第二种方法对于第i个特征会对应生成一个邻接矩阵Hi,最后将所有特征的邻接矩阵concatenate到一起形成H。如图:
实验结果和结论对比
实验对比:feature(使用的特征矩阵)feature for structure:生成关联矩阵使用的特征
结论:
HGNN比现有的分类方法更有效比如GCN,可以传播高阶关系,在有多模态特征信息的时候,提升效率会更高。