#!/usr/bin/python

 # -*- coding: utf-8 -*-

 import pandas as pd

 import re

 import jieba

 from sklearn.feature_extraction.text import  CountVectorizer, TfidfTransformer

 #加载文本

 dataPath1='D:/machinelearning data/crawlerData/mi6x_JD500.csv'

 dataPath2='D:/machinelearning data/crawlerData/huaWei_P20_JD100.csv'

 dataPath3='D:/machinelearning data/crawlerData/test1.txt'

 stopWord_Path='D:/论文文件/学习文件/情感分析/dict词典/哈工大stopword .txt'#停用词路径

 f1=pd.read_csv(dataPath1,sep=',',encoding='GBK')#.iloc[:,1]#加载文本1

 f2=pd.read_csv(dataPath2,sep=',',encoding='GBK')#.iloc[:,1]#加载文本2

 f3=pd.read_csv(dataPath3,sep=',',encoding='GBK',header=0)#.iloc[:,1]#加载文本3

 #加载停用词，停用词要是列表形式才能使用

 stopWord=[]

 with open(stopWord_Path,'r',encoding='utf-8') as fr:#加载停用词

     for word in fr.readlines():

         stopWord.append(word.strip())

 #print(stopWord)

 #文本切分函数，用来对中文文本分词，包括除去数字字母以及停用词，得到一个分词用空格隔开的字符串，便于下面向量化（因为这个CountVouterizer()是针对英文分词的，英文之间直接用空格隔开的）

 def cut_word(sent):

     line=re.sub(r'[a-zA-Z0-9]*','',sent)

     wordList=jieba.lcut(line,cut_all=False)

     return ' '.join([word for word in wordList if word not in stopWord and len(word)>1])#文本分词，并且用空格连接起来，便于下面向量化

 #也是文本切分函数，只不过这个没有去停用词，CountVouterizer()中可以直接添加停用词表参数，不统计文档中的停用词的数量

 def cutword(sent):

     line=re.sub(r'[a-zA-Z0-9]*','',sent)

     wordList=jieba.lcut(line,cut_all=False)

     return ' '.join([word for word in wordList if len(word)>1])

f3['word_list']=f3.comment.apply(cutword)#将文本分词，并且分词用空格隔开变成文本存才DataFrame中

print(f3)

                                        comment            word_list

0                          你好吗,你的我的他的都不行，非常好，中国加油！    你好 不行 非常 中国 加油

1                                真的非常好，你知道吗，手机性能不行   真的 非常 知道 手机 性能 不行

2  昨天晚上下单，今早拿到机器。这物流很给力！电池不耐用，不优秀。严重发烫，希望小米后续优化跟进。   昨天晚上 下单 今早 拿到 机器 物流 电池 耐用 优秀 严重 发烫 希望 小米 后续 优化 跟进  

 wordList=list(f3.word_list)#必须变成列表个是才能输入下面的向量化函数

 count_vect = CountVectorizer(min_df=1,stop_words=stopWord,analyzer ='word')  # 并且设置了停用词表为列表stopWord，即在向量化时去掉停用词不统计，词至少在1个文档中出现过

 words_vec = count_vect.fit_transform(wordList)

 print(words_vec.toarray())#得到分词的系数矩阵

 #print(words_vec.todense())

 vec1=pd.DataFrame(words_vec.toarray())

 print(count_vect.get_feature_names())#获得上面稀疏矩阵的列索引，即特征的名字（就是分词）

[[0 1 1 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

 [0 1 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0]

 [1 0 0 1 1 1 0 0 1 1 1 1 0 0 1 1 1 1 1 0 1 1]]

['下单', '不行', '中国', '今早', '优化', '优秀', '你好', '加油', '发烫', '后续', '小米', '希望', '性能', '手机', '拿到', '昨天晚上', '机器', '物流', '电池', '真的', '耐用', '跟进']