AFM 论文阅读

背景

FM 模型引入了二阶特征的交叉方法,但是在 FM 中,所有二阶特征的权重是一样的,在实际中,应该给重要的交叉特征更大的权重,对一些可能引入噪音的特征给一个非常小的权重或0

AFM 通用引入一个 attention 结构,让模型自己调节二阶特征的权重

 

模型结构

AFM 论文阅读

 

 AFM 模型的结构如上图所示(省略了线性回归部分)

AFM 模型原理可以用如下公式表示:

AFM 论文阅读

 

其中,aij 就是 attention 结构的计算结果,计算原理如下所示:

AFM 论文阅读

 

 

总结

AFM 模型的优点在上面已经提到了,但是 AFM 模型增加了模型复杂度,模型是否能学的好,需要实践,论文中提到在回归任务中有比较大的提升,在分类任务中表现怎么样呢?

AFM 其实相当于一种特征交叉方法

 

参考资料

https://www.jianshu.com/p/83d3b2a1e55d

AFM 论文阅读

上一篇:上周热点回顾(8.30-9.5)


下一篇:转-tomcat在控制台打印时乱码