from sklearn.feature_extraction.text import CountVectorizer
import jieba




def countvec():
    """
    对文本进行特征值化
    :return:
    """
    cv = CountVectorizer()
    data = cv.fit_transform(["life is life short,i like python" , "life is too long ,i dislike python"])
    print(data) # sparse形式，api没有设计直接转数组的
    print(cv.get_feature_names())
    print(data.toarray()) # 将sparse形式转成数组形式


    return None


def cutword():
    con1 = jieba.cut("今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。") # 直接输出的结果是  <generator object Tokenizer.cut at 0x0000027C7FBD0830>
    con2 = jieba.cut("我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。")
    con3 = jieba.cut("如果只用一种方式了解某样事物，你就不会真正了解它，了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。")

    # 转换为列表
    content1 = list(con1)
    content2 = list(con2)
    content3 = list(con3)

    # 转换为字符串
    c1 = " ".join(content1)
    c2 = " ".join(content2)
    c3 = " ".join(content3)

    return c1,c2,c3



def hanzivec():
    """
    中文特征值化
    :return:
    """
    c1,c2,c3 = cutword()

    cv = CountVectorizer()
    data = cv.fit_transform([c1, c2, c3])
    print(data)  # sparse形式，api没有设计直接转数组的
    print(cv.get_feature_names())
    print(data.toarray())  # 将sparse形式转成数组形式





if __name__ == "__main__":
    
    countvec()
    hanzivec()

结果：