1.背景知识

　　在讲SVD++之前，我还是想先回到基于物品相似的协同过滤算法。这个算法基本思想是找出一个用户有过正反馈的物品的相似的物品来给其作为推荐。其公式为：

　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　其中 r_ui 表示预测用户u对物品i的喜爱程度。w_ij 是物品i，j之间的相似度，N(u)代表用户曾经有过正反馈的物品的集合。

　　就比如说我们现在有三个用户A，B和C，还有四本书：《红楼梦》，《史记》，《微积分导论》和《时间简史》。用户和书籍之间的阅读关系为：

	A	B	C
红楼梦	1		1
史记
微积分导论			1
线性代数		1

　　其中没有标注1的即表示用户没有阅读过此书籍。

　　那么我们首先需要一种相似度度量方法可以测得任意两本书之间的相似度，暂时我们认为方法已经有了，并且已经把书籍两两之间的相似度计算出来了，其可以用一个对称方阵W表示（在我们这个例子中是4X4的矩阵）。其具体值假设如下：

	红楼梦	史记	微积分导论	线性代数
红楼梦	1	0.7	0.2	0.1
史记	0.7	1	0.2	0.2
微积分导论	0.2	0.2	1	0.8
线性代数	0.1	0.2	0.8	1

　　那根据公式，我们计算用户C对史记的喜欢程度就是 ： （ 0.7 + 0.2）/ sqrt(2) 。

2. SVD++ 原理

　　上面的方法有一个问题，就是相似度度量方法我们不太容易得到，也就是我们没法得到W这个矩阵。有一个想法就是我通过迭代优化的方法直接去计算整个W，其优化的lost function如下：

　　

　　这样的话就再不需要我们认为去定义一个相似度度量方法。但是一个新的问题又出现了。由于一般推荐系统中物品的个数往往都很多，所以W会是一个非常大的矩阵，那么这样会给存储和计算带来很大的麻烦。这里我们把条件放宽一点，假设W是由两个矩阵X和Y点乘得到的（其实就是矩阵分解）。那么预测的公式就变成了：

　　　　　　

　　其中X_i 和Y_j 是矩阵X和Y中第i行和第j行。

　　那么到此为止，我们用了迭代和矩阵分解的方法来处理相似度的信息，那么我们将这个相似度影响因素加入我们之前讲的隐因子的矩阵分解方法中去，就得到：

　　

　　可以看到，这个公式其实就是在隐因子的基础上多加了一项。

　　但是，牛逼的dalao们又发现，如果让矩阵P（这个是用户的隐参数矩阵）和上面提到的W分解得到的X矩阵相等，可以防止模型过拟合，那么公式又变为：

　　

　　这个公式有点错误，其括号中的x_i 应该是没有的。（太懒了，直接截图过来不想改==）

3.算法实现

　　（INCOMING）

　　https://github.com/ccienfall/RecommandSystem/blob/master/script/Factorize.py 先拿代码凑合着看吧。。。。

挖好坑，以后来填。（10.21）

前来填坑（11.2）