数据获取
- 数据是从搜狐新闻开放的新闻xml数据，经过一系列的处理之后，生成的一个excel文件
- 该xml文件的处理有单独的处理过程，就是用pandas处理，该过程在此省略
import numpy as np
import pandas as pd
- 读取新闻文本文件，查看文本的长度
df=pd.read_excel('sohu_data.xlsx')
df['length']=df['content'].apply(lambda x: len(x)).values
- 去掉长度小于50的文本
df_data = df[df['length']>=50][['content','category']]
- 查看新闻类型的分布，共9类
df_data['category'].value_counts()
# 可以看到这里面存在类别不平衡，最大的差距有17倍。
health 30929
news 27613
auto 22841
stock 18152
it 13875
yule 13785
women 4667
book 4411
business 1769
Name: category, dtype: int64
- 使用sklearn中的处理模块的labelEncoder方法对类标进行处理
from sklearn.preprocessing import LabelEncoder
class_le=LabelEncoder()
class_le.fit(np.unique(df['category'].values)
print(list(class_le.classes_))
y=class_le.transform(df['category'].values)
# 查看前20个新闻样本的类别
y[:20]
['auto', 'book', 'business', 'health', 'it', 'news', 'stock', 'women', 'yule']
array([7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7], dtype=int64)
- 导入jieba，进行分词
import jieba
def chinese_word_cut(mytext):
return " ".join(jieba.cut(mytext))
X=pd.DataFrame()
X['cut_content']=df["content"].apply(chinese_word_cut)
X['cut_content'].head()
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\HUANG_~1\AppData\Local\Temp\jieba.cache
Loading model cost 0.966 seconds.
Prefix dict has been built succesfully.
1 产品名称 ： 规格 及 价格 ： ３ ０ ｍ ｌ ／ ３ ０ ０ 元 羽西 当归...
2 常见问题 Ｑ ： 为什么 我 提交 不了 试用 申请 Ａ ： 试用 申请 必须 同时...
3 产品名称 ： 肌醇 （ Ｐ ｕ ｒ ｅ Ｓ ｋ ｉ ｎ ） 深层 卸妆 凝胶 规格 ...
4 欧诗漫 的 试用装 终于 延期 而 至 ， 果然 不负 所望 ， 包装 很 精美 。 从 快...
5 试用 申请 步骤 １ 注册 并 完善 个人资料 登入 搜狐 试用 频道 ， 填写 并...
Name: cut_content, dtype: object
- 使用词袋模型进行文本处理，去除停用词，去除数字特征，使用朴素贝叶斯进行分类
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test= train_test_split(X,y,random_state=42,test_size=0.25)
def get_custom_stopwords(stop_words_file):
with open(stop_words_file,encoding="utf-8") as f:
custom_stopwords_list=[i.strip() for i in f.readlines()]
return custom_stopwords_list
stop_words_file = "stopwords.txt"
stopwords = get_custom_stopwords(stop_words_file) # 获取停用词
from sklearn.feature_extraction.text import CountVectorizer
vect = CountVectorizer(token_pattern=u'(?u)\\b[^\\d\\W]\\w+\\b',stop_words=frozenset(stopwords))
from sklearn.naive_bayes import MultinomialNB
nb=MultinomialNB()
from sklearn.pipeline import make_pipeline
pipe=make_pipeline(vect,nb)
pipe.fit(X_train.cut_content, y_train)
y_pred = pipe.predict(X_test.cut_content)
from sklearn import metrics
print(metrics.accuracy_score(y_test,y_pred))
metrics.confusion_matrix(y_test,y_pred)
0.897216216938
array([[6266, 163, 2, 249, 5, 345, 66, 74, 53],
[ 5, 1118, 0, 0, 0, 31, 2, 5, 37],
[ 8, 4, 15, 0, 0, 104, 329, 5, 3],
[ 4, 1, 0, 8230, 0, 64, 6, 1, 0],
[ 59, 29, 0, 10, 3672, 66, 29, 26, 45],
[ 72, 71, 6, 26, 1, 5683, 756, 60, 193],
[ 28, 0, 10, 0, 0, 381, 4275, 0, 2],
[ 9, 90, 0, 5, 1, 74, 5, 890, 132],
[ 2, 38, 1, 2, 0, 44, 1, 11, 3467]], dtype=int64)
可以看到朴素贝叶斯对该测试集的正确率达到了接近90%
对训练集进行评估，正确率91%
y_pred = pipe.predict(X_train.cut_content)
from sklearn import metrics
print(metrics.accuracy_score(y_train,y_pred))
0.913158362989
from sklearn.linear_model import LogisticRegression
- 随后我们使用逻辑回归模型进行拟合模型并对测试集进行预测，测试集准确率达到94%
lr=LogisticRegression()
from sklearn.pipeline import make_pipeline
pipe=make_pipeline(vect,lr)
pipe.fit(X_train.cut_content, y_train)
y_pred = pipe.predict(X_test.cut_content)
from sklearn import metrics
print(metrics.accuracy_score(y_test,y_pred))
metrics.confusion_matrix(y_test,y_pred)
0.944644620599
array([[7079, 3, 3, 5, 19, 62, 27, 10, 15],
[ 43, 1131, 1, 0, 3, 3, 4, 6, 7],
[ 16, 0, 36, 1, 1, 106, 296, 7, 5],
[ 7, 0, 0, 8298, 0, 1, 0, 0, 0],
[ 48, 1, 0, 0, 3870, 9, 2, 1, 5],
[ 60, 12, 22, 14, 9, 6453, 218, 35, 45],
[ 36, 1, 140, 0, 7, 415, 4090, 3, 4],
[ 48, 28, 1, 1, 10, 54, 6, 1008, 50],
[ 44, 12, 0, 1, 10, 38, 4, 29, 3428]], dtype=int64)
from sklearn.tree import DecisionTreeClassifier
tree=DecisionTreeClassifier(criterion='entropy',random_state=1)
from sklearn.ensemble import BaggingClassifier
bag=BaggingClassifier(base_estimator=tree,
n_estimators=10,
max_samples=1.0,
max_features=1.0,
bootstrap=True,
bootstrap_features=False,
n_jobs=4,random_state=1)
pipe=make_pipeline(vect,bag)
pipe.fit(X_train.cut_content, y_train)
y_pred = pipe.predict(X_test.cut_content)
metrics.accuracy_score(y_test,y_pred)
- 使用bagging的方法将决策树进行ensemble，得到的准确率比逻辑回归低了1%
0.9294045426642111 - 通过对混淆矩阵进行分析，我们发现对第三类，也就是business类的误分类较多，后续需要改进的模型
- 可以使用td-idf进行文本特征处理
- word2vector与深度学习的方式进行结合，测试文本分类效果
- LSTM
- embedding
- 其他NLP 方法