FM算法(二):工程实现

主要内容:

  1. 实现方法
  2. Python实现FM算法
  3. libFM

     

一、实现方法

1、FM模型函数

FM算法(二):工程实现

变换为线性复杂度的计算公式:

FM算法(二):工程实现

2、FM优化目标

根据不同的应用,FM可以采用不同的损失函数loss function来作为优化目标,如回归Regression:y^(x)直接作为预测值,损失函数可以采用least square error;二值分类Binary Classification:y^(x)需转化为二值标签,如0,1。损失函数可以采用hinge loss或logit loss;排序Rank:x可能需要转化为pair-wise的形式如(X^a,X^b),损失函数可以采用pairwise loss。

不管采用哪种损失函数,我们都可以通过随机梯度下降的方法来求解,如下:

FM算法(二):工程实现

3、实现步骤

主要超参数有:初始化参数、学习率、正则化稀疏

FM算法(二):工程实现

二、    Python实现FM算法

1、简介

下面通过一个简单的数据集和基于随机梯度下降的方法来实现FM算法(不加正则化),采用python语言。

2、代码

地址:https://github.com/jizhihui/fm_python

三、    libFM

  1. 简介

libFM是FM算法的开源实现工具,包含SGD、ALS、MCMC等实现方法(具体参考论文《Factorization Machines with libFM》),可以应用于回归和分类等问题。

  1. 使用

  2. 数据格式:

    libFM支持libsvm的数据格式,即 label index:value index:value的形式

2)使用方法(命令行):

./libFM -method mcmc -task r -dim '1;1;8' -init_stdev 0.1 -iter 100 -test ml1m-test.libfm -train ml1m-train.libfm -out ml1m-test.pred

3)详细

参考github上面的readme

四、参考文献

1、《Factorization Machines with libFM》

上一篇:bzoj2442&&codevs4654 单调队列优化dp


下一篇:sql: postgreSQL sql script