1. train_test_split(under_x, under_y, test_size=0.3, random_state=0) # under_x, under_y 表示输入数据, test_size表示切分的训练集和测试集的比例， random_state 随机种子
2. KFold(len(train_x), 5, shuffle=False) # len(train_x) 第一个参数数据数据大小， 5表示切分的个数，即循环的次数， shuffle表示是否进行打乱数据
3. recall_score 表示的是召回率， 即预测对的/这个类别的个数
我们将数据分为训练集和测试集，为了确定好参数，我们从训练集中对数据进行再次的切分，切分成训练集和验证集以此来获得好的训练参数
我们对正则化参数c做验证
交叉验证的意思是比如，KFold(len(train_x), 5, shuffle=False) 将索引值分成5份，四分作为训练集，1份作为验证集,为了防止由于部分数据表现不好，导致结果的偏低或者偏高
训练集 验证集
1234 5
2345 1
3451 2
4512 3
5123 4
一共5次循环，对获得的score求平均作为最终的预测得分
我们使用recall_score 来做为验证结果， 使用KFold来进行数据的索引的拆分， 返回最佳的参数
# 进行整体数据的拆分
train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.3, random_state=0) # 进行下采样数据的拆分
under_train_x, under_text_x, under_train_y, under_test_y = train_test_split(under_x, under_y, test_size=0.3, random_state=0)
from sklearn.cross_validation import KFold
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import recall_score # 使用交叉验证来选择参数
def printing_KFold_score(train_x, train_y):
"""
进行数据的交叉验证
:param train_x:输入的数据的变量
:param train_y:输入数据的标签
:return: 返回最佳的参数
"""
# 对数据的索引进行拆分
fold = KFold(len(train_x), 5, shuffle=False)
# 正则化参数
c_parameter = [0.01, 0.1, 1, 10, 100]
# 建立DataFrame用于参数和recall得分的储存
train_score = pd.DataFrame(index=range(len(c_parameter), 2), columns=['c_parameter', 'F_score_mean'])
train_score['c_parameter'] = c_parameter
for c in c_parameter:
scores = []
for iter, fol in enumerate(fold, start=1):
lr = LogisticRegression(C=c, penalty='l1')
lr.fit(train_x.iloc[fol[0], :], train_y.iloc[fol[0], :])
pred_y = lr.predict(train_x.iloc[fol[1], :])
# 导入recall_score模块进行计算
score = recall_score(train_y.iloc[fol[1], :], pred_y)
print('{} {}'.format(iter, score))
scores.append(score)
mean_score = np.mean(scores)
train_score['F_score_mean'] = mean_score
print(train_score)
# 根据索引, idxmax() 表示获得最大值的索引,获得最佳的best_parameter
best_parameter = train_score.iloc[train_score['F_score_mean'].idxmax(), :]['c_parameter']
print('the best_parameter is {}'.format(best_parameter)) return best_parameter best_c = printing_KFold_score(under_train_x, under_train_y)