Python之文件与目录

file

通常建议使用open()打开文件,file用于类型判断

如果要把数据写到磁盘上,除调用flush()外,还得用sync(),以确保数据从系统缓冲区同步到磁盘。close()总是会调用这两个方法。

打开模式:

*r:只读

*w:只写。已存在文件将被清除

*a:添加。总是添加到文件尾部

*b:二进制模式

*r+:更新文件,可读写,不会截断文件

*w+:更新文件,可读写,清除原有内容

*a+:更新文件,可读写,总是在尾部添加

后面三种模式之前没有使用过。

文件对象还实现迭代器协议,可直接循环获取其内容:

>>> f = open("test.txt","r")
>>>
>>> for line in f:print line
...

读方法总能判断不同平台的换行标记,但写方法不会添加任何换行字符,包括writelines

>>> f = open("test.txt","w")
>>> f.write("a")
>>> f.writelines("bc")
>>> f.writelines("bc")
[root@typhoeus79 guosong]# cat test.txt
abcbc[root@typhoeus79 guosong]#

如必须按不同平台写入换行标记,可以使用os.linesep

>>> import os
>>> os.linesep
'\n'

字符串本身就是序列类型,可以直接使用writelines(str)。

readline()会返回包括换行符在内的整个行数据。

通常建议用迭代器或者xreadlines() 代替readlines(),因为readlines()默认是一次性读取整个文件。

binary

用struct将其他类型构建成二进制字节数组,然后写入文件即可。

>>> data = struct.pack('i2s','ab')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
struct.error: pack requires exactly 2 arguments
>>> data = struct.pack("2i2s", 0x1234, 0xFF56, "ab")
>>> data
'4\x12\x00\x00V\xff\x00\x00ab'
struct.pack(fmt, v1, v2, ...)
Return a string containing the values v1, v2, ... packed according to the given format. The arguments must match the values required by the format exactly.
>>> data = struct.pack("2i2s", 0x1234, 0xFF56, "ab")
>>>
>>>
>>> data
'4\x12\x00\x00V\xff\x00\x00ab'
>>> open("test.data","w").write(data)

查看对应的二进制格式:

在vim中使用命令:%!xxd

0000000: 3412 0000 56ff 0000 6162 0a              4...V...ab.

反解:

>>> import struct
>>> data = struct.pack("2i2s", 0x1234, 0xFF56, "ab")
>>> data
'4\x12\x00\x00V\xff\x00\x00ab'
>>> struct.unpack(data)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unpack expected 2 arguments, got 1
>>> struct.unpack("2i2s",data) #必须指定格式
(4660, 65366, 'ab')

对于相同类型的数据,可以考虑array,以获得更好的性能。

encoding

标准库codes提供一个包装版的open(),可自动完成编码转换工作。

>>> import sys
>>> sys.getdefaultencoding()#默认的编码为ascii
'ascii'
>>> sys.setdefaultencoding("utf-8")#直接设置出错
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'module' object has no attribute 'setdefaultencoding'
>>> reload(sys) #重新reload即可,原因呢??目前还不清楚,后续更新!!!
<module 'sys' (built-in)>
>>> sys.setdefaultencoding("utf-8")
>>> import codecs
>>>
>>> f = codecs.open("test.txt","w","gbk")
>>>
>>> f.write("中国")
>>>
>>> "中国".encode("gbk")
'\xd6\xd0\xb9\xfa'
>>>
>>> s = codecs.open("test.txt",encoding="gbk").read()
>>> s
u''
>>> print s >>> f.close() #必须关闭或执行flush,f.write("中国")才刷到磁盘,否则读取的内容为空
>>> s = codecs.open("test.txt",encoding="gbk").read()
>>> print s
中国
>>> s
u'\u4e2d\u56fd'

test.txt 通过vim命令中%!xxd看到结果为:

0000000: d6d0 b9fa 0a                             .....
>>> import sys
>>> reload(sys)
<module 'sys' (built-in)>
>>> sys.setdefaultencoding("utf-8")
>>> import codecs
>>>
>>> from contextlib import *
>>>
>>> with codecs.open("test.txt","w","gbk") as f: #使用上下文,默认会close,故不需要再手动close
... f.write("中国")
...
>>>
>>> s = codecs.open("test.txt",encoding="gbk").read()
>>> s
u'\u4e2d\u56fd'
>>> print s
中国

 desciptor

除使用文件对象外,某些时候还可能需要直接操控文件描述符。

http://docs.python.org/2.7/library/os.html#open-constants

>>> import os
>>> fd = os.open("test.txt",os.O_CREAT | os.O_RDWR,0644)
>>>
[root@typhoeus79 alter_table]# ls -l test.txt
-rw-r--r-- 1 root root 0 Oct 16 20:53 test.txt
>>> import os
>>> fd = os.open("test.txt",os.O_CREAT|os.O_RDWR,0644)
>>>
>>> os.write(fd,"abc")
3
>>>
>>> f = os.fdopen(fd,"r+") #通过描述符创建文件对象
>>>
>>> f.seek(0,os.SEEK_SET) #注意调整位置
>>> os.SEEK_SET
0
>>> f.read()
'abc'
>>> f.write("")
>>>
>>> f.flush()
>>>
>>> os.lseek(fd,0,os.SEEK_SET)
0
>>> os.lseek(fd,0,100)
>>> os.read(fd,100)
'abc123'
>>> os.close(fd)

文件对象fileno()方法返回其对应的文件描述符。

tempfile

* TemporaryFile:创建临时文件对象,关闭时自动删除

*NamedTemporaryFile:创建临时文件对象,可获取文件名,参数决定是否自动删除

*SpooledTemporaryFile:和TemporaryFile类似,只有在数据超过阈值时,才写入硬盘

http://docs.python.org/2.7/library/tempfile.html#module-tempfile

>>> import tempfile,os.path
>>>
>>> tmp = tempfile.NamedTemporaryFile()
>>>
>>> tmp.name
'/tmp/tmprft_9A'
>>> os.path.exists(tmp.name)
True
>>> tmp.close()
>>> os.path.exists(tmp.name)
False

默认使用系统临时目录和前缀,当然也可以指定不同的配置。

>>> import contextlib
>>>
>>> with tempfile.NamedTemporaryFile(prefix="xxx_",suffix=".tmp",dir=".") as f:
... print f.name
...
/data1/guosong/code/code_guosong/alter_table/xxx_ukGJ2F.tmp

与临时文件有关的函数还有:

*tempfile.gettempdir:返回系统临时文件存放路径

*tempfile.gettempprefix:返回默认的临时文件名前缀

*tempfile.mkdtemp:创建临时目录

*tempfile.mkstemp:创建临时文件,返回描述符和文件名,需手动删除

*os.tempnam:仅返回有效的临时文件名,并不创建文件

*os.tmpfile():创建临时文件对象,关闭后自动删除

>>> tempfile.gettempdir()
'/tmp'
>>>
>>> tempfile.gettempprefix()
'tmp'
>>>
>>> d = tempfile.mkdtemp()
>>> d
'/tmp/tmpr7Jq64'
>>> os.removedirs(d)
>>> d
'/tmp/tmpr7Jq64'
>>> os.path.exists(d)
False

os.path

常用函数列表

http://docs.python.org/2.7/library/os.path.html#module-os.path

os

http://docs.python.org/2.7/library/os.html#module-os

shutil——High-level file operations, including copying.

http://docs.python.org/2.7/library/shutil.html#module-shutil

常用函数列表(为啥有这么多函数呢??实际需求驱动??)

函数  说明
copyfile

拷贝文件内容,不包括权限等属性,且目标必须是包含文件名的路径

copymode

仅拷贝权限,不包括owner以及文件内容

copystat

拷贝权限、时间等属性,不包括owner和内容

copy

拷贝文件,包括权限属性。覆盖已有文件,目标可以是目录

copy2

拷贝文件,然后调用copystat

copytree

拷贝目录树,包括权限等属性

rmtree

删除目录树

move 递归移动文件或目录树。支持跨文件系统操作
上一篇:redis高可用之REDIS SENTINEL


下一篇:HTML 参考手册