需求

对给定的先验数据集，使用logistic回归算法对新数据分类

代码实现

1.定义sigmoid函数

def loadDataSet():
    dataMat = []; labelMat = []
    fr = open('d:/testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

2.返回回归系数

对应于每个特征值，for循环实现了递归梯度上升算法。

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)             #将先验数据集转换为NumPy 矩阵
    labelMat = mat(classLabels).transpose()  #将先验数据的类标签转换为NumPy 矩阵
    
    m,n = shape(dataMatrix)
    alpha = 0.001      #设置逼近步长调整系数
    maxCycles = 500   #设置最大迭代次数为500
    weights = ones((n,1))     #weights即为需要迭代求解的参数向量
    
    for k in range(maxCycles):              #heavy on matrix operations
        h = sigmoid(dataMatrix*weights)     #代入样本向量求得“样本y”sigmoid转换值
        error = (labelMat - h)              #求差
        weights = weights + alpha * dataMatrix.transpose()* error  #根据差值调整参数向量
    return weights

我们的数据集有两个特征值分别是x1，x2。在代码中又增设了x0变量。
结果，返回了特征值的回归系数：

[[ 4.12414349]
 [ 0.48007329]
 [-0.6168482 ]]

我们得出x1和x2的关系（设x0=1），0=4.12414349+0.48007329x1-0.6168482x2

3.线性拟合线

画出x1与x2的关系图——线性拟合线