|
|
|
|
|
1. 在页面上的任意位置记录笔记
请在此处写上您的名字
2. 让一切都井井有条
从"我的笔记本"开始 - 囊括所有事项
为以下活动添加分区:
|
在每个分区内添加页面:
|
(页面所在位置) |
- 有关提示详情，请观看 30 秒视频
|
|
|
|
- 创建您的第一个页面
您现在位于"快速笔记"分区 - 可以随机记录
Directional Adversarial Training for Recommender Systems
论文翻译:
1.摘要:
(话题方向切人,他人最近的有关成果，再次基础上他人成果的不足。提出我们的做法，结果以及引出我们的
对抗性训练的引入以及现阶段存在的缺点：
对抗性训练是通过在模型训练过程中在输入空间中进行随机扰动(perturbations)来提高深度学习模型泛化能力的有效方法。 最近的一次 奥迪已经成功地将对抗性训练应用于推荐系统，通过极小极大的游戏干扰用户和项目的嵌入。 然而，这种方法忽略了协同信号 在推荐系统中，未能捕获数据分布中的平滑性。 我们认为，揭示用户和项目之间行为相似性的协作信号是至关重要的建模推荐系统。 在本工作中，我们通过显式地将协作信号注入扰动过程来开发定向对抗性训练(DAT)策略。 即b 用户和项目对嵌入空间中的相似邻居感到不安(perturbed)，并受到适当的限制。 为了验证其有效性，我们演示了DAT在广义矩阵事实上的使用 定向(GMF)是最具代表性的协同过滤方法之一。 我们在三个公共数据集上的实验结果表明，我们的方法(称为DAGMF)达到了显著的精度I对GMF的改进，同时，它比GMF更不容易过度拟合。
对抗性训练是[12]提出的一种新的方法，以解决深度学习模型很容易被对抗性例子[26]愚弄的问题，这些例子是通过施加小的代价来构造的 输入示例上的涡轮。 最近，一些研究[12,22,23]指出，对抗性训练可以作为一种正则化方法来提高泛化性能 以及防止深度学习模型过度拟合。
️ 主要内容：
对抗性训练忽略了协同信号未能捕获数据分布中的平滑性，但是作者认为用户和项目之间的行为相似性的写作信号很重要，于是，将写作信号注入到扰动过程并开发定向的对抗训练，斌能够取得了不错的效果。同时学者发现，对抗性训练可以作为正则化提高泛化性能。
尽管性能很好，但我们认为图形神经网络容易受到输入特征[13]、[14]的小而有意的扰动，这甚至可能比不建模图形结构的标准神经网络更为严重。 原因有两个：1)图神经网络也优化了标记数据上的监督损失，因此它将面临相同的损失 作为标准神经网络[15]的生物问题 2)附加的平滑约束将加剧扰动的影响，因为跨越连接节点的平滑将聚合来自连接到ta的节点的扰动的影响rget节点（即我们应用扰动以改变其预测的节点）。 图1用图w的直观例子说明了扰动对节点特征的影响有4个节点。 图神经网络模型分别预测具有应用扰动的清洁输入特征和特征的节点标签(总共3个。 在这里，扰动是故意施加的节点1、2、4的特征。 因此，图神经网络模型被愚弄，对节点1和2作出错误的预测，就像标准神经网络一样。 此外，通过传播节点 嵌入，该模型将扰动的影响聚集到节点3，其预测也受到影响。 在实际应用中，小扰动就像节点特性的更新 可能经常发生，但不应太多地改变预测。 因此，我们认为在训练过程中迫切需要稳定图形神经网络模型。
对抗性训练(AT)是一种动态正则化技术，它主动模拟训练阶段[15]的扰动。 经验表明它能够稳定神经 在标准分类任务[16]-[21]中增强它们对扰动的鲁棒性。 因此，在图神经网络模型上采用与AT相似的方法也有助于模型的鲁棒性。 然而，直接在图神经网络上使用AT是不够的，因为它将示例视为相互独立的，不考虑来自相关示例的影响。 因此，我们提出了一种新的对抗性训练方法，称为图形对抗性训练(Gra 它学习通过考虑图形结构来构造和抵抗扰动。
️这两段的主要内容：
图神经网络也能收到小的扰动的影响，因此也需要在训练过程中迫切需要稳定图形神经网络模型。
方法是借用对抗性训练的方法，但是又是远远不够的。
图 1：一个直观的例子来说明将扰动应用于输入节点特征对图神经网络预测的影响。 在这里，模型实现了图平滑度c通过在图上传播节点嵌入进行约束。 在右边，模型在目标节点3的连接节点上传播应用的扰动，导致错误的预测。 而且，在节点1和2上的扰动直接导致错误的相关预测，如在标准神经网络中。
GraphAT的关键思想是，当在目标示例 target example上产生扰动时，它使目标示例的预测与其连接示例（connected examples）之间的分歧最大化。 也就是说，a对抗性扰动应该尽可能地攻击图形平滑约束。 然后，GraphAT通过额外最小化图对抗性正则化(graph adversarial regularizer)来更新模型参数，减少 扰动目标实例与其连通实例之间的预测发散。 通过这种方法，GraphAT可以抵抗基于图形学习的最坏情况扰动，并增强模型半身像。 为了有效地计算对抗性扰动，我们进一步设计了一种基于反向传播的线性逼近方法。
为了演示GraphAT， 我们将其应用于一个建立良好的图形神经网络模型-图形卷积网络(GCN)[7]，该模型通过执行嵌入传播(performing embedding propagation)来实现平滑约束。 我们研究美索 节点分类的性能，这是基于图的学习中最受欢迎的任务之一。 我们研究了该方法在节点分类上的性能，这是基于图的学习中最流行的任务之一。 在三个公共基准（两个引文图和一个知识）上进行广泛的实验图)验证了图AT的优势-与GCN的正常训练相比，GraphAT的精度提高了4.51。 此外，对不太受欢迎的节点（有很小的程度）的改进是MOR 重要的，强调了用所考虑的图结构执行AT的必要性。
target and connected example是什么意思：
目标节点，以及与目标节点相连接的结点吗？
本文的主要贡献总结为：
我们提出了图形对抗性训练，这是一种新的图形神经网络优化方法，可以提高模型的鲁棒性节点输入特性的扰动。
我们设计了一个图对抗性正则化器，动态地鼓励模型对扰动目标示例及其连接生成类似的预测举例说明，并开发了一种有效的算法来构造扰动。
我们证明了图ATON的有效性 在三个数据集上进行了GCN实验，表明我们的方法在节点分类方面达到了最先进的性能.
在本文的其余部分中，我们首先在第二节中讨论相关工作，然后在第三节中讨论问题的制定和准备。 在第4节和第5节中，我们详细阐述了方法和经验 结果，分别。 我们在第六节中总结了这篇论文，并展望了未来的方向。
2. 相关工作
在这一部分中，我们讨论了现有的基于图的学习和对抗性学习的研究，这些研究与这项工作密切相关。
图是关系数据的一种自然表示，其中节点和边缘表示实体及其关系，广泛应用于社交网络、交易记录、生物分析中交互、相互关联文档的集合、网页和多媒体内容等。在这样的图表上，最受欢迎的任务之一是节点分类，以预测标签图中的节点通过考虑节点特征和图结构。 现有的节点分类工作主要分为两大类： 图拉普拉斯正则化和基于图嵌入的方法(graph Laplacian regularization andgraph embedding-based methods)。前一类的方法显式地将图结构编码为正则化项，以平滑图上的预测，i.s.，当用不同的标签预测相似的节点（例如紧密连接）时，正则化会受到很大的惩罚
最近，基于图嵌入的方法，学习编码图数据的节点嵌入，已经成为很有前途的解决方案。 大多数基于嵌入的方法分为两大类：: skip-gram based methods and convolution based methods，取决于图形数据是如何建模的。 skip-gram通过使用节点的嵌入来预测节点conte来学习节点嵌入 通过在图上执行随机游走生成的结点的上下文，以便嵌入"连接"节点 相互关联的[2]、[5]、[6]、[12]。 受计算机视觉中卷积思想的启发，卷积在局部窗口中聚集上下文信号，基于卷积的方法迭代 聚合邻居节点的表示，以学习节点嵌入[3]、[4]、[7]、[11]、[25]-[30]。
在这两个类别中，利用深度Neural的高级表示能力的方法 网络（基于神经图的学习方法）在解决节点分类任务方面表现出显著的有效性。 然而，基于神经图的学习模型容易受到意图的影响 设计的扰动表明了泛化[13]、[31]和很少注意的不稳定性，以增强这些方法的鲁棒性，这是本工作的重点。
2.2.1 Adversarial Training 对抗性训练
为了解决深层神经网络对有意扰动的脆弱性，研究人员提出了对抗性训练，这是一种替代的极小极大过程[32]。 对抗训练 方法通过从具有扰动的干净例子中动态生成对抗性例子来增强训练过程，最大限度地攻击训练目标，然后学习这些通过最小化一个额外的正则化项[15]、[17]、[33]-[38]来证明这些例子。 对抗性训练方法主要分为监督和半监督两种 培训目标。 在有监督的学习任务中，如视觉识别[15]、监督损失[15]、[33]、[34]及其代理[36]-以对抗性例子为目标最大化和最小化。 对于半监督学习，其中部分示例被标记，对每个示例周围的输入的预测作为目标。 一般来说对抗性训练方法的哲学是以动态的方式平滑围绕单个输入的预测。 我们的工作受到了这些对抗性训练方法的启发。 此外 对于单个示例的局部平滑性，我们的方法进一步考虑了极小极大过程目标中的示例（即图结构）之间的关系，以便学习鲁棒分类器在图形结构上平滑地预测。 据我们所知，这是第一次尝试将图形结构纳入对抗性训练。 另一个新兴的研究课题rela 泰德对我们的工作是产生对抗性扰动攻击基于神经图的学习模型，其中[31]和[13]是唯一发表的工作。 然而，[31]和[13]中的方法是不合适的用于构建图对抗性训练中的对抗性示例。 这是因为这些方法生成一个新的图作为每个节点的对抗性示例，即它们将生成 当节点数为N时，N图导致无法负担的内存开销。 在本工作中，我们设计了一种有效的方法来生成用于图形对抗性训练的对抗性示例。
2.2.2 GAN
3 PRELIMINARIES
3.1 Graph Representation图的表示
A 表示邻接矩阵矩阵。
D 表示对角矩阵
X表示输入矩阵，
3.2 Node Classifification
学习预测函数（分类器）
，预测节点的标签，其中Θ包括要学习的模型参数。
其中
表示结点的标签
3.3 基于图的学习
这一部分就是讲的GCN是吧？
Φ鼓励在图结构上预测的平滑性，这是基于这样的假设，即紧密连接的节点往往相似的预测
该公式具体表示为：(引用了原始GCN文章中的代价函数)