Sklearn.model_selection(模型选择)
Cross_val_score:交叉验证
Train_test_split:数据切割
GridsearchCV:网格搜索
Sklearn.metrics(覆盖了分类任务中大部分常用验证指标)
Confusion_matrix(y_test,y_predict):混淆矩阵
Classification_report(y_test,y_predict):分类报告
Precision_score(test_y,prey):精确率
recall_score(test_y,prey):召回率
F1_score(test_y,prey):F1值
Roc_auc_score(test_y,prey):AUC值
Roc_curve(test_y,prepro[:,1]):ROC曲线参数
Mean_squared_error:均方差
R2_score:R2决定系数
Sklearn.tree(决策树)
DecisionTreeClassifier:分类决策树
DecisionTreeRegression:回归决策树
Export_graphviz():生成决策树图片
export_graphviz(best_dt,'best_dt.dot')
os.system('dot -Tjpg best_dt.dot -o 1604C.jpg')
Sklearn.decomposition(分解降维)
PCA:降维
explained_variance_ratio_ :每一行对应的等级数集
TruncatedSVD:文本降维
Sklearn.cluster(聚类)
Kmeans:K均值
AgglomerativeClustering:层次聚类
DBSCAN:密度聚类
Sklearn.linear_model(线性回归)
Lasson:L1正则化
ridge:岭回归L2正则化
LinearRegression:线性回归
Sklearn.ensemble(集成算法)
RandomForestClassifier:随机森林
ExtraTreesClassifier:极限随机树
AdaBoostClassifier:Adaboost算法(弱学习器)
GradientBoostingClassifier:GBDT(梯度提升回归树)算法
Sklearn.neighbors(邻近)
KNeighborsClassifier:KNN算法
Sklearn.svm
SVC:支持向量机
Sklearn.naive_bayes(朴素贝叶斯算法)
GaussionNB:高斯朴素贝叶斯
MultionmialNB:多项式朴素贝叶斯
BernoulliNB:伯努利朴素贝叶斯(分词)
Sklearn.proprecessing(数据预处理)
oneHotEncoder:独热编码
MinMaxscaler:线性归一化
StandardScaler:标准差归一化
LabelEncoder:数值标准化(类别特征转数值特征)
polynomialFeatures:多项式
Sklearn.feature_extraction.text(特征文本抽取)
CountVectorizer:词向量化
Sklearn.pipeline:管道
Pipeline:管道
Jieba
analyse:文本分析
Analyse.extract_tags 方法,提取排名靠前的关键词
Posseg:词性
Posseg.lcut() 方法,词性标注
Gensim
Corpora:全集
Corpora.Dictionary() 方法,构建词典
Models:模型
Models.Ldamodel() 方法,建立LDA主题模型,生成主题
From sqlalchemy import create_engine 连接mysql数据库
create_engine("mysql+pymysql://root:root@localhost:3306/pysql")
from wordcloud import WordCloud : 云词图
From PIL import Image 读取图片
wordcloud=WordCloud(font_path="simhei.ttf",background_color="white",max_font_size=80,mask=image)