python之文件读写详解

前言

文件读写可以说是最常用的功能之一,总结一下python内置的读写文件的方法。

打开文件

  • open
def open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True):
pass

参数说明:

  • file:文件路径,可以是相对路径,也可以是绝对路径

  • mode: 文件的读写方式,默认‘r’,只读方式;

  • buffering:设置缓冲策略,0用于二进制文件,1为行缓冲,用于文本模式;默认二进制文件固定大小缓冲,文本文件行缓冲

  • encoding:设置编码,默认utf-8;该参数不能用于二进制模式;

  • errors:设置怎么处理文件的编码异常,默认strict,发生错误抛出异常;设置ignore忽略编码异常,可能导致数据丢失,这个参数不能用于二进制模式;

  • newline:设置换行符,默认换行符为'\n','\r','\r\n',写入文件的时候,所有文本中的上述三种都会转换成'\n'换行符;当设置为''时,也启用默认模式;如果设置其它合法值,则使用其他值,一般不用;

  • closefd=True :设置文件描述符的状态,当为False时,文件关闭但描述符不关闭,但是打开文件时指定了文件名,那么设置False不会起作用。

文件打开方式介绍

r:	以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
w: 打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
a: 打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
x: 创建一个新文件,将其打开并编写;如果文件已经存在报错;
rb: 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。
wb: 以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
ab: 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。也就是说,新的内容将会被写入到已有内容之后。如果该文件不存在,创建新文件进行写入。
r+: 打开一个文件用于读写。文件指针将会放在文件的开头。
w+: 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
a+: 打开一个文件用于读写。如果该文件已存在,文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在,创建新文件用于读写。
rb+:以二进制格式打开一个文件用于读写。文件指针将会放在文件的开头。
wb+:以二进制格式打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
ab+:以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放在文件的结尾。如果该文件不存在,创建新文件用于读写。

关闭文件

  • close()
f = open(file)
f.close()

注意:

由于文件每次打开都需要调用Close函数关闭,可以使用上下文管理器管理文件,其会自动在适当的时候关闭文件。

with open(filename) as f:
f.read()

文件普通读写

方法一:read()

with open(filename) as f:
f.read() # 一次性读取全部,在大文件这是不可取的
f.read(5) # 读取5个字节,如果使用UTF-8编码,5表示5个汉字,也表示5个字母。
f.read(6) # 同一个f对象,多次读取时在上一次的基础上继续往下,如果超过则有多少读多少

方法二:readline()

with open(filename) as f:
f.readline() # 按行来读取,每次返回一行,
f.readline() # 多次读取在上一行的基础上往下,换行符也会被读取

方法三:readlines()

with open(filename) as f:
t = f.readlines() # 按行读取全部的内容作为一个列表返回

方法四:直接遍历打开的文件对象,按行读取

with open('./test.txt','r+') as f:
for line in f:
print(line)

方法五:使用linecache模块

import linecache
line = linecache.getline(filename,5) # 读取文件第五行的数据

说明:getline方法主要用来获取特定的行的内容,当多次读取文件不规则行的时候该方法能提高效率,因为其将文件的内容缓存了一份在内存中,不用每次去磁盘读取,减少了IO,但这也意味着当读取很大的文件的时候,内存消耗十分严重,因为getline内部使用了readlines方法;大文件可能造成内存溢出。

  • readable()方法可以用来判断文件是否可读

方法一:write()

with open(filename,'w',encoding='utf-8') as f:
t = f.write('ddd') # 将内容写入,必须是字符串格式,不可以是数字,返回的是字符串的个数,包括了换行符\r\n占两个字符(windows),占一个字符\n(linux)。
t = f.write('aaa') # 多次写入在原来的基础上继续写入

方法二:writelines()

with open(filename,'w',encoding='utf-8') as f:
f.writelines(['aa','bb']) # 该方法自动将列表元素拼接起来写入文件,参数时一个可迭代对象,列表、字典、集合都可以
  • writeable()可以判断打开的文件对象f究竟是可读的还是可写的。

注意的问题

  1. f.write(123):这种是不被允许的,必须转化成二进制或字符串;

  2. open(filename,'rb',encoding='utf-8'):以二进制格式打开文件是不能指定编码的,否则报错

  3. 以二进制格式打开文件,写入的必须是字节文件,同时写入返回的是字节数;以文本模式打开,写入的必须是文本,同时返回的是字符串个数;一个汉字字符串占3个字节。

普通字符串转化为字节文件的方法:

  1. b'123adf':这种方法只能针对数字和字母,默认使用ascii编码,不能转化汉字;

  2. '123adf'.encode('utf-8):可以转化字母和汉字;

  3. bytes('我的',encoding='utf-8'):可以转化字母和汉字,但必须指定编码格式;

文件的定位读写

  • tell():获取文件指针的位置
with open(filename,'r',encoding='utf-8') as f:
f.read(3)
t = f.tell() # 获取指针的位置,返回3,如果读取到换行符,换行符在windows占两个字节
  • seek(offset,from):设置指针的位置

参数

  • offset:偏移量,设置负数表示向前偏移,正数表示向后偏移,一个汉字占3个字节,字母占一个字节
  • from:偏移的方向
0:表示文件开头
1:表示当前位置
2:表示文件末尾
with open(filename,'r',encoding='utf-8') as f:
f.read(3)
a = f.seek(0,0) # 返回指针定位后的实际位置,默认偏移方向从文件开头算起

注意

  • 在文本模式下打开文件,偏移方向只能从文件开头算起,参数from只能为0,这是因为文本模式涉及到编码的问题,以二进制格式打开文件就可以设置不同的方向。

  • 每次打开文件,读操作的指针都是在文件的开头,写操作的指针在文件的末尾,直到文件被关闭;

几个经典的案例

文件同时读写的情况

    with open('test.txt', 'r+') as f:
print(f.tell()) # 当前指针的位置在开头0
a = f.read(3) # 指针到了位置3
print(a)
print(f.tell())
h = f.write('hhh') # 从文件的末尾写入,相当于追加数据
print(h)
c = f.tell() # 指针在文件的末尾
print(c)
print(f.read()) # 读取从位置3到文件原来的末尾的数据
print(f.tell()) # 当前位置在新的文件末尾和c相同
  • 总结:r+模式下,如果同一个文件对象需要读和写,读和写各有一个指针,它们是相互独立的,读写位置各不干扰;但是tell函数获取到的位置优先表示写的位置;即当程序执行时,如果只有读,tell获取的位置是读的位置;如果出现了写,tell获取的位置就一定是写的位置了,无论后面还有没有更多的读操作;同理其他的模式也一样;

文件同时读写存在偏移的情况

with open('test.txt', 'r+') as f:
print(f.tell()) # 当前读指针的位置在开头0,写指针还未初始化
print(f.read(3)) # 读指针到了位置3
print(f.tell()) # 获取到读指针的位置为3
f.seek(0) # 指针偏移到文件的开头,只能影响一个指针
print(f.read(3)) # 读指针到了位置3
h = f.write('gggg') # 增加一个文件描述符,写指针初始化到文件的末尾,写入数据
j = f.tell() # 获取写的位置优先,写指针在文件末尾
print(j)
f.seek(0) # 指针偏移到文件的开头,读文件的数据更新,加入了写入的数据
j = f.tell() # 获取写指针在文件的开头
print(j)
h = f.write('vvvv') # 从文件开头写入数据,覆盖原来的数据
c = f.tell() # 获取写指针在文件的位置4
print(c)
print(f.read(4)) # 读取从位置4往后的4个字符
print(f.tell()) # 读指针在文件8位置
h = f.write('xxx') # 从文件的末尾写入,相当于追加数据
print(f.tell()) # 当前位置在新的文件末尾
print(f.read()) # 从8位置读取所有的数据
  • 总结:
  1. seek()函数只能影响它下面的第一次的读写操作;并且会将上一次写入的数据更新到读缓冲区中;

  2. 在r+模式下,write()总是从文件的末尾写入,除非受seek函数的影响;

  3. write()操作被偏移影响后,其后的read操作的指针会被移到write操作的位置;

文件同时读写存在且存在更新的情况

    with open('test.txt', 'r+') as f:
f.read()
f.seek(2,0) # 定位到到文件的开头往右2的位置
f.truncate() # 将2位置后所有的数据删除
f.write('aaa') # 写入新的数据
  • truncate():动态删除数据,从当前指针删除后面所有的数据

其他方法

  • flush():刷新文件内部缓冲,直接把内部缓冲区的数据立刻写入文件, 而不是被动的等待输出缓冲区写入,一般close()函数时先调用flush(),然后再关闭文件描述符。

  • fileno:返回一个整型的文件描述符,很少用到;

  • isatty():文件是否连接到一个终端的设备;

  • truncate():文件截取,无参数时从当前的指针位置删除后面所有;有参数时从首行首字母截取数据留下来,其余的删除;

参考

上一篇:[转] add-apt-repository


下一篇:【转】【Python】Python多进程与多线程