第七章 文件和数据格式化

文件的使用

文件是数据的抽象和集合

• 文件是存储在辅助存储器上的数据序列
• 文件是数据存储的一种形式
• 文件展现形态：文本文件和二进制文件

文本文件

• 由单一特定编码组成的文件，如UTF-8编码
• 由于存在编码，也被看成是存储着的长字符串
• 适用于例如：.txt文件、.py文件等

二进制文件

• 直接由比特0和1组成，没有统一字符编码
• 一般存在二进制0和1的组织结构，即文件格式
• 适用于例如：.png文件、.avi文件等

文件的打开和关闭

文件处理的步骤: 打开-操作-关闭

文件的打开

<变量名> = open(<文件名>, <打开模式>)

打开模式

文件的打开模式	描述
'r'	只读模式，默认值，如果文件不存在，返回FileNotFoundError
'w'	覆盖写模式，文件不存在则创建，存在则完全覆盖
'x'	创建写模式，文件不存在则创建，存在则返回FileExistsError
'a'	追加写模式，文件不存在则创建，存在则在文件最后追加内容
'b'	二进制文件模式
't'	文本文件模式，默认值
'+'	与r/w/x/a一同使用，在原功能基础上增加同时读写功能

文件的关闭

<变量名>.close()

文件使用

文本形式打开文件

tf = open("f.txt", "rt")

print(tf.readline())

tf.close()

二进制形式打开文件

bf = open("f.txt", "rb")

print(bf.readline())

bf.close()

文件内容的读取

操作方法	描述
.read(size=-1)	读入全部内容，如果给出参数，读入前size长度
.readline(size=-1)	读入一行内容，如果给出参数，读入该行前size长度
.readlines(hint=-1)	读入文件所有行，以每行为元素形成列表 ,如果给出参数，读入前hint行

文件的全文本操作

方法一:一次读入，统一处理

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

txt = fo.read()

#对全文txt进行处理

fo.close()

方法二：按数量读入，逐步处理

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

txt = fo.read(2)

while txt != "":

      #对txt进行处理

      txt = fo.read(2)

fo.close()

文件的逐行操作

方法一：一次读入，分行处理

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

for line in fo.readlines():

     print(line)

fo.close()

方法二：分行读入，逐行处理

fname = input("请输入要打开的文件名称:")

fo = open(fname,"r")

for line in fo:

     print(line)

fo.close()

数据的文件写入

操作方法	描述
.write(s)	向文件写入一个字符串或字节流
.writelines(lines)	将一个元素全为字符串的列表写入文件
.seek(offset)	改变当前文件操作指针的位置，offset含义如下：0 – 文件开头； 1 – 当前位置； 2 – 文件结尾

e.g.

写入一个字符串列表

fo = open("output.txt","w+")

ls = ["中国","法国","美国"]

fo.writelines(ls)

for line in fo:

     print(line)

fo.close()

注：上一个程序没有任何输出

fo = open("output.txt","w+")

ls = ["中国","法国","美国"]

fo.writelines(ls)

fo.seek(0)

for line in fo:

     print(line)

fo.close()

注：上一个程序会输出：中国法国美国

fo.seek(0)起到了关键作用

实例11: 自动轨迹绘制

问题分析

自动轨迹绘制

• 需求：根据脚本来绘制图形？
• 不通过写代码而通过写数据绘制轨迹
• 数据脚本是自动化最重要的第一步

基本思路

• 步骤1：定义数据文件格式（接口）
• 步骤2：编写程序，根据文件接口解析参数绘制图形
• 步骤3：编制数据文件

    #AutoTraceDraw.py

    import turtle as t

    t.title('自动轨迹绘制')

    t.setup(800, 600, 0, 0)

    t.pencolor("red")

    t.pensize(5)

    #数据读取

    datals = []

    f = open("data.txt")

    for line in f:

        line = line.replace("\n","")

        datals.append(list(map(eval, line.split(","))))

    f.close()

    #自动绘制

    for i in range(len(datals)):

        t.pencolor(datals[i][3],datals[i][4],datals[i][5])

        t.fd(datals[i][0])

        if datals[i][1]:

            t.rt(datals[i][2])

        else:

            t.lt(datals[i][2])

一维数据的格式化和处理

维度：一组数据的组织形式

一维数据的表示

如果数据间有序：使用列表类型

ls = [3.1398, 3.1349, 3.1376]

• 列表类型可以表达一维有序数据
• for循环可以遍历数据，进而对每个数据进行处理

如果数据间无序：使用集合类型

st = {3.1398, 3.1349, 3.1376}

• 集合类型可以表达一维无序数据
• for循环可以遍历数据，进而对每个数据进行处理

一维数据的存储

存储方式一：空格分隔

中国 美国 日本 德国 法国 英国 意大利

• 使用一个或多个空格分隔进行存储，不换行
• 缺点：数据中不能存在空格

存储方式二：逗号分隔

中国,美国,日本,德国,法国,英国,意大利

• 使用英文半角逗号分隔数据进行存储，不换行
• 缺点：数据中不能有英文逗号

存储方式三：其他方式

中国$美国$日本$德国$法国$英国$意大利

• 使用其他符号或符号组合分隔，建议采用特殊符号
• 缺点：需要根据数据特点定义，通用性较差

一维数据的处理

数据的处理：存储 <-> 表示

• 将存储的数据读入程序
• 将程序表示的数据写入文件
  
  

一维数据的读入处理

从空格分隔的文件中读入数据

中国 美国 日本 德国 法国 英国 意大利

txt = open(fname).read()

ls = txt.split()

f.close()

>>> ls

['中国', '美国', '日本', '德国', '法国', '英国', '意大利']

从特殊符号分隔的文件中读入数据

中国$美国$日本$德国$法国$英国$意大利

txt = open(fname).read()

ls = txt.split("$")

f.close()

>>> ls

['中国', '美国', '日本', '德国', '法国', '英国', '意大利']

一维数据的写入处理

采用空格分隔方式将数据写入文件

ls = ['中国','美国','日本']

f = open(fname, 'w')

f.write(' '.join(ls))

f.close()

采用特殊分隔方式将数据写入文件

ls = ['中国','美国','日本']

f = open(fname, 'w')

f.write('$'.join(ls))

f.close()

二维数据的格式化和处理

二维数据的表示

使用列表类型

• 列表类型可以表达二维数据
• 使用二维列表

[ [3.1398, 3.1349, 3.1376],

[3.1413, 3.1404, 3.1401] ]

• 使用两层for循环遍历每个元素
• 外层列表中每个元素可以对应一行，也可以对应一列

一二维数据的Python表示

数据维度是数据的组织形式

• 一维数据：列表和集合类型
  
  [3.1398, 3.1349, 3.1376] 数据间有序
  
  {3.1398, 3.1349, 3.1376} 数据间无序
• 二维数据：列表类型
  
  [ [3.1398, 3.1349, 3.1376],
  
  [3.1413, 3.1404, 3.1401] ]

CSV格式与二维数据存储

CSV数据存储格式

CSV: Comma-Separated Values

• 国际通用的一二维数据存储格式，一般.csv扩展名
• 每行一个一维数据，采用逗号分隔，无空行
• Excel和一般编辑软件都可以读入或另存为csv文件
• 如果某个元素缺失，逗号仍要保留
• 二维数据的表头可以作为数据存储，也可以另行存储
• 逗号为英文半角逗号，逗号与数据之间无额外空格

二维数据的存储

按行存？按列存？

• 按行存或者按列存都可以，具体由程序决定
• 一般索引习惯：ls[row][column]，先行后列
• 根据一般习惯，外层列表每个元素是一行，按行存

二维数据的处理

二维数据的读入处理

从CSV格式的文件中读入数据

fo = open(fname)

ls = []

for line in fo:

     line = line.replace("\n","")

     ls.append(line.split(","))

fo.close()

二维数据的写入处理

将数据写入CSV格式的文件

ls = [[], [], []] #二维列表

f = open(fname, 'w')

for item in ls:

     f.write(','.join(item) + '\n')

f.close()

二维数据的逐一处理

采用二层循环

ls = [[], [], []] #二维列表

for row in ls:

     for column in row:

           print(ls[row][column])

模块6: wordcloud库的使用

wordcloud库概述

wordcloud是优秀的词云展示第三方库

• 词云以词语为基本单位，更加直观和艺术地展示文本

wordcloud库的安装

(cmd命令行) pip install wordcloud

wordcloud库使用说明

wordcloud库基本使用

wordcloud库把词云当作一个WordCloud对象

• wordcloud.WordCloud()代表一个文本对应的词云
• 可以根据文本中词语出现的频率等参数绘制词云
• 词云的绘制形状、尺寸和颜色都可以设定

wordcloud库常规方法

w = wordcloud.WordCloud()

• 以WordCloud对象为基础
• 配置参数、加载文本、输出文件

方法	描述
w.generate(txt)	向WordCloud对象w中加载文本txt >>>w.generate("Python and WordCloud")
w.to_file(filename)	将词云输出为图像文件，.png或.jpg格式 >>>w.to_file("outfile.png")

import wordcloud

c = wordcloud.WordCloud()

c.generate("wordcloud by Python")

c.to_file("pywordcloud.png")

• 步骤1：配置对象参数
• 步骤2：加载词云文本
• 步骤3：输出词云文件

配置对象参数

w = wordcloud.WordCloud(<参数>)

参数	描述
width	指定词云对象生成图片的宽度，默认400像素
height	指定词云对象生成图片的高度，默认200像素
min_font_size	指定词云中字体的最小字号，默认4号
max_font_size	指定词云中字体的最大字号，根据高度自动调节
font_step	指定词云中字体字号的步进间隔，默认为1
font_path	指定字体文件的路径，默认None
max_words	指定词云显示的最大单词数量，默认200
stop_words	指定词云的排除词列表，即不显示的单词列表
mask	指定词云形状，默认为长方形，需要引用imread()函数
background_color	指定词云图片的背景颜色，默认为黑色

wordcloud应用实例

import wordcloud

txt = "life is short, you need python"

w = wordcloud.WordCloud( \

               background_color = "white")

w.generate(txt)

w.to_file("pywcloud.png")

实例12: *工作报告词云

"*工作报告词云"问题分析

直观理解政策文件

• 需求：对于*工作报告等政策文件，如何直观理解？
• 体会直观的价值：生成词云 & 优化词云
  
  *工作报告等文件 ->有效展示的词云

    #GovRptWordCloudv2.py

    import jieba

    import wordcloud

    from scipy.misc import imread

    mask = imread("chinamap.jpg")

    excludes = { }

    f = open("新时代中国特色*.txt", "r", encoding="utf-8")

    t = f.read()

    f.close()

    ls = jieba.lcut(t)

    txt = " ".join(ls)

    w = wordcloud.WordCloud(\

        width = 1000, height = 700,\

        background_color = "white",

        font_path = "msyh.ttc", mask = mask

        )

    w.generate(txt)

    w.to_file("grwordcloudm.png")