推荐算法-深度学习

AutoRec

基于自编码的思想,比如对物品的评分向量或者用户的评分向量进行预测,更具预测出来的结果进行推荐。

DeepCrossing

对类别特征进行embedding,数值特征不变,然后将所有特征向量进行拼接,后面再接残差模型结构。

NeuralCF

分别对用户特征和物品特征进行建模,并将隐向量拼接,然后进过多层MLP。

PNN

模型结构类似deepCrossing,不同之处是PNN未使用特征向量的拼接,而是使用product操作进行特征交互。

+product操作:

1.内积操作

2.外积操作:两个特征向量的各个维度进行两两交叉,复杂度升高,一般使用叠加矩阵进行简化,类似于平均池化操作。

Deep&Wide

记忆能力:可以理解为模型直接学习并利用历史数据中物品或者特征共现频率的能力,一般使用简单模型如逻辑回归。

泛化能力:模型传递特征的相关性,以及发掘稀疏甚至从未出现过的稀疏特征与最终标签相关性的能力,如使用深度神经网络。

Wide部分:使用交叉积变换。

Deep&Cross

cross部分:增加特征之间的交叉,使用多层交叉层对输入向量进行特征交叉,避免了人工进行特征交叉,并且控制了引入参数的数量。

FNN

FNN模型总体类似于deepcrossing,基本思想是使用训练好的FM模型的各特征隐向量来初始化FNN的embedding,好处是可以加快收敛速度。

FNN引入了特征域的概念,在一个特征域上进行全连接。

DeepFM

模型结构同Deep&Wide,唯一的不同是把Wide结构替换成了FM模型。

FM结构和Deep结构共享同一个embedding向量。

NFM

FM的神经网络化尝试,最明显的特点是,在embedding层和多层神经网络之间加入了特征交叉池化层,具体是两两特征embedding向量内积操作后,对所有的交叉特征向量求和,得到池化层的输出向量。

AFM

AFM模型结构基本同NFM模型结构,不同之处是:AFM在两两特征交叉层和池化层之间加入一个注意力网络来生成注意力得分。

DIN

认为广告特征和用户行为特征的关联性是非常强的,因此将用户行为特征和广告特征间计算注意力得分。

推荐算法-深度学习

推荐算法-深度学习是用户u的第i次行为的embedding向量,推荐算法-深度学习是候选广告商品的embedding向量,推荐算法-深度学习是用户的embedding向量

DIEN

考虑用户的行为序列,对行为序列使用GRU进行建模,同时引入了注意力机制,即在模拟兴趣进化的过程中,同时考虑与目标广告的相关性。

DRN

将强化学习的思路应用于推荐系统,进行推荐模型的线上实时学习和更新。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

上一篇:浅谈BERT


下一篇:嵌入(embedding)层的理解