1、要预处理xml文件，解决docs,url,content标签问题。主要代码是deal_label.py 存入数据文件夹是sougou_label_after

SogouCS.reduced：存放原始的txt；

sougou_label_after：解决docs,url,content标签问题

import os

# 预处理xml文件，解决docs,url,content标签问题

def file_fill(file_dir,half_dir):

    # 查看half_dir文件夹下的文件夹和文件目录

    for root, dirs,files in os.walk(file_dir):

        # 判断是否存在half_dir，如果没有则创建

        if not os.path.exists(half_dir):

            os.makedirs(half_dir)

        for f in files:

            tmp_dir = half_dir+'\\'+f

            text_init_dir = file_dir+'\\'+f

            # 遍历文件夹下的每一篇xml文件

            with open(text_init_dir, 'r', encoding='gb18030') as source_file:

                start,end = '<docs>\n', '</docs>'

                line_content = source_file.readlines()

                # 在目标文件夹中创建新文件保存预处理后的文件

                with open(tmp_dir, 'w+', encoding='utf-8') as handle_file:

                    # 添加'<docs>'头标签

                    handle_file.write(start)

                    for line in line_content:

                        # 处理url中的‘&’符号

                        text = line.replace('&', '&amp;')

                        # 添加'</docs>'头标签

                        handle_file.write(text)

                    handle_file.write(end)

if __name__ == '__main__':

    file_dir = r'E:\sssss\SogouCS.reduced'     #原始文件夹

    half_dir = r'E:\sssss\sougou_label_after'  # 修改格式和符号生成的文件夹   无需自己手动建文件夹

    file_fill(file_dir, half_dir)     #将选好的文件进行加上<docs>和</docs>,并修改&这个符号

2、部分样本函数获取，同时随机取去训练数据和测试数据。主要代码是data_train_test.py 存入数据文件夹分别为train_choice , test_choice

import os, random

# 部分样本获取函数

def choice_files(half_dir,choice_dir_train,choice_dir_test,n,m):

    if not os.path.exists(choice_dir_train):

        os.makedirs(choice_dir_train)

    if not os.path.exists(choice_dir_test):

        os.makedirs(choice_dir_test)

    for _,_,files in os.walk(half_dir):

        file_list_train = random.sample(files, n)   #训练数据去随机的n个文件

        for file_choice in file_list_train:

            files.remove(file_choice)

        file_list_test = random.sample(files, m)    #测试数据取随机的m个文件

        for file in file_list_train:

            with open(half_dir+'\\'+file, 'r', encoding='utf-8') as f1_train:

                doc_train = f1_train.read()

                path = choice_dir_train+'\\'+file

                with open(path, 'w+', encoding='utf-8') as f2_train:

                    f2_train.write(doc_train)

        for file in file_list_test:

            with open(half_dir+'\\'+file, 'r', encoding='utf-8')as f1_test:

                doc_test = f1_test.read()

                path = choice_dir_test +'\\'+file

                with open(path, 'w+', encoding='utf-8') as f2_test:

                    f2_test.write(doc_test)

        # print(file_list_train)

        # print(file_list_test)

    return file_list_train, file_list_test

if __name__ == '__main__':

    # 随机抽取10个文件进行深加工

    half_dir = r'E:\sssss\sougou_label_after'

    choice_dir_train = r'E:\sssss\train_choice'

    choice_dir_test = r'E:\sssss\test_choice'

    file_list_train, file_list_test = choice_files(half_dir, choice_dir_train, choice_dir_test, 10, 5)

3、提取文档文本内容，并且根据url将文本分好类.主要代码是data_content.py 存入数据文件夹是data

import os

from xml.dom import minidom

from urllib.parse import urlparse

# 检查url对应的文章是否在分类字典中

def check_class(url_lb,labels):

    if url_lb in labels:

        return True

    return False

def file_read(half_dir, labels, path):

    for _, _, files in os.walk(half_dir):

        for f in files:

            filename = half_dir + '\\' + f

            doc = minidom.parse(filename)      #加载读取xml文件

            root = doc.documentElement         #获取xml节点属性值

            claimtext = root.getElementsByTagName('content')   #获取xml节点对象集合

            claimurl = root.getElementsByTagName('url')

            for ind in range(len(claimurl)):

                if claimtext[ind].firstChild == None:

                    continue

                url = urlparse(claimurl[ind].firstChild.data)

                url_lb = url.hostname.strip().split('.')[0]

                # 建立url和类别的映射字典

                if check_class(url_lb, labels):

                    if not os.path.exists(path):

                        os.makedirs(path)

                    if not os.path.exists(path + './' + labels[url_lb]):

                        os.makedirs(path + './' + labels[url_lb])

                    file_name = path + './' + labels[url_lb] + './' + "{}.txt".format(labels[url_lb])

                    with open(file_name, "a+", encoding='utf-8') as file_in:

                        file_in.write(claimtext[ind].firstChild.data + '\n')

if __name__ == '__main__':

    labels = {'auto': '汽车', 'it': '互联网', 'health': '健康',

              'sports': '体育','travel': '旅游', 'learning': '教育', 'career': '职业',

              'cul': '文化','mil': '军事', 'house': '房产', 'yule': '娱乐',

              'women': '女人','media': '媒体', '2008': '奥运',

              'business': '商业'

              }

    half_dir = r'E:\sssss\train_choice'

    path = r'E:\sssss\data\data_train'  # 新创建的文件夹，主要是放分好类的文件

    file_read(half_dir, labels, path)  # 将选好的文件进行纯文本提取和分类存储

    half_dir = r'E:\sssss\test_choice'

    path = r'E:\sssss\data\data_test'    #新创建的文件夹，主要是放分好类的文件

    file_read(half_dir, labels, path)     # 将选好的文件进行纯文本提取和分类存储