论文作者：于文辉，林肖，葛均锋，欧文武，覃征

推荐算法是机器学习的一个重要应用，推荐算法与其他机器学习算法的一个重要区别在于数据的特点。在推荐系统中，由于用户行为的长尾效应，往往数据极为稀疏，而另一个问题在于，推荐算法的数据集往往是隐式反馈，即通过对用户行为的采集而非query来获得用户对推荐标的的反馈。学界针对这两个问题曾提出过不少方法，也有很多经典的工作。然而，这两个问题始终没有得到完整的解决。

目前学界解决数据稀疏性的思路是引入更多的信息来辅助协同过滤进行推荐，例如引入丰富的side information如文本和tag，图片等。而同时为了解决隐式反馈，往往采用负采样的方式添加负样本来帮助模型学习。负采样的方式存在一个明显的缺点，即采样过程中可能会将潜在的正样本当作负样本使用，使得负样本中存在着较大的噪声。

我们在已有工作的基础上，提出了一个新的迁移学习的思路来同时解决这两个问题。我们试图通过让模型学会举一反三的方式，将知识从一个数据丰富的 domain（source domain）迁移至一个数据稀疏的 domain（target domain）。我们考虑一个极端的情形，即将知识从一个 domain 迁移至用户和商品均不重叠的 domain，辅助推荐。同时，我们仅在 source domain 进行负采样，通过知识迁移将负样本的知识迁移到 target domain，避免了直接进行 target domain 上的负采样，实现了在target domain 上的有效学习。

推荐算法极为依赖用户和商品的表达，即embedding。常用的迁移学习算法大多建立在两个domain共享embedding隐式空间的基础之上。然而这一方式存在着一个严重的问题，即推荐算法中的embedding 分布在隐式空间之中，其空间不具备明确的语义含义。因此直接对两个domain的embedding进行共享可能会导致embedding 的错位。这一点与 cv 领域中的共享隐层存在着极大的差异。因为在图像领域中，图片的轮廓、色彩等信息具备明确的含义，两个数据集上的猫或者狗的图片在轮廓和纹理上是具有相似性的。而在推荐领域中，embedding 的任一个维度没有语义含义，因此 source domain 中的一个恐怖电影与 target domain 中的喜剧电影，两者的 embedding 向量可能很接近，直接迁移会造成语义上的南辕北辙。为此，我们引入了评论文本信息，将两个 domain 的 embedding 分别与对应的文本的语义空间进行对齐，保证两个 domain 的恐怖电影的 embedding 均与 horrible 这一单词较为接近，由此保证两个 domain 的 embedding 可以进行更准确的空间对齐。

为此，我们设计了一个基于文本的半监督式迁移学习推荐算法，并将其命名为Text-enhanced Domain Adaptation Recommendation (TDAR)算法。我们首先在两个domain中将用户和商品分别构造出文本空间内的隐式表示。具体来说，我们采用了memory network，将用户/商品的隐式表示建模成评论文本中单词embedding的线性组合，并通过一个基于文本的推荐任务对该表示进行训练。而后，我们采用了domain adaption中经典的adversarial training的方式，设计了一个domain分类器和一个协同过滤模块，其中domain分类器采用adversarial training的方式，将用户/商品的embedding和文本表示进行对齐，使得source domain的用户/商品embedding与target domain的用户/商品embedding出于同一空间内。为了使得两个domain的embedding能够通过文本进行对齐，我们将用户/商品基于文本的表示和embedding进行拼接后输入到domain分类器，再进行对齐。

我们在亚马逊的公开数据集上进行了实验，选用了movies, videos, CDs 以及clothes进行了实验，并将domain之间有用户或者商品交集的数据删除。我们将数据最为丰富的movies作为source domain，其他三个domain作为target domain分别进行了实验。同时，我们采用了经典的协同过滤算法MF，深度学习算法NeuMF，深度文本推荐算法CoNN，adversarial leanring经典算法DANN以及state-of-the-art的跨领域推荐算法Rec-DAN进行了对比，实验结果表明，我们的算法在多个数据集上均取得了很好的效果。


同时，我们也观察到，对于domain相对接近的任务中，我们的算法表现更为突出。这也符合我们的预期，因为从不相近的domain迁移知识，对于target domain而言收益并不大，这也提示我们应该选择合适的domain来帮助学习。

我们利用文本信息来对跨领域推荐的用户/商品表示空间对齐的方案具备较强的扩展性，对于工业界的跨领域推荐也有着一定的启示。考虑到文本只是诸多信息中的一个类型，我们在未来将会关注以其他的信息来进一步帮助迁移学习在推荐算法中的使用，而迁移学习在cv以及nlp领域取得成果之后，我们相信这项技术在未来的推荐中也会发挥日益重要的作用。

更多数据挖掘领域论文请查看：KDD顶会论文解读