Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

StringIO

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

StringIO操作

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

BytesIO

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

BytesIO操作

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

file-like对象

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

路径操作

路径操作模块

3.4版本之前:os.path模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

3.4版本开始

建议使用pathlib模块,提供Path对象来操作。包括目录和文件

pathlib模块

from pathlib import Path

目录操作

初始化

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

 路径拼接和分解

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

#在windows下的Pycharm中运行
p = Path()
print(type(p)) #<class 'pathlib.WindowsPath'>
p = p / 'a'
print(p) #a
p1 = 'b' / p
print(p1) #b\a
p2 = Path('c')
p3 = p2 / p1
print(p3) #c\b\a
print(p3.parts) #('c', 'b', 'a')
print(p3.joinpath('etc','init.d',Path('httpd'))) #c\b\a\etc\init.d\httpd

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

p = Path('/etc')
print(str(p),bytes(p))

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

p = Path('/a/b/c/d')
print(p.parent.parent)
for x in p.parents:
print(x)

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

#四个属性,两个方法
p = Path('E:\learnshare\ArticleSpider\e.xex.txt')
print(p.name) #e.xex.txt
print(p.stem)   #e.xex
print(p.suffix)  #.txt
print(p.suffixes) #['.xex','.txt']
print(p.with_name('c.y'))#E:\learnshare\ArticleSpider\c.y
print(p.with_suffix('.xxyy'))#E:\learnshare\ArticleSpider\e.xex.xxyy

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

调用iterdir()方法后返回一个生成器对象 

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

通配符

glob(pattern)通配给定的模式

rglob(pattern)通配给定的模式,递归目录

from pathlib import Path
print(1,list(Path().glob('test*')))#返回当前目录对象下的test开头的文件
print(2,list(Path().glob('*/test*')))#返回当前目录的下一级目录以test开头的文件
print(3,list(Path().glob('**/test*')))#递归当前目录以及其下所有目录,返回以test开头的文件
print(4,list(Path().rglob('test*')))#同上一样

匹配

match(pattern)

模式匹配,成功返回True

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

文件操作

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

OS模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

fd表示文件描述符

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

shutil模块

到目前为止

文件拷贝:使用打开2个文件对象,源文件读取内容,写入目标文件中来完成拷贝过程。但是这样会丢失stat数据信息(权限等),因为根本就没有复制过去。

目录怎么办呢?

Python提供了一个方便的库shutil(高级文件操作)

Copy复制

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

import shutil

with open('test1.txt','r+') as f1:
f1.write('abcd\n1234')
f1.flush()
with open('test2.txt','w+')as f2:
shutil.copyfileobj(f1,f2)
#注意:由于指针的缘故,可参见源码如下。上述代码中abcd\n1234内容确实会写入到test1.txt,但是并没有复制到test2.txt中。
#copyfileobj源码
def copyfileobj(fsrc, fdst, length=16*1024):
"""copy data from file-like object fsrc to file-like object fdst"""
while 1:
buf = fsrc.read(length)
if not buf:
break
fdst.write(buf)

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

#copytree源码,这里主要了解一下ignore函数的使用技巧,过滤掉不需要拷贝的!
def copytree(src, dst, symlinks=False, ignore=None, copy_function=copy2,
names = os.listdir(src)
if ignore is not None:
ignored_names = ignore(src, names)
else:
ignored_names = set() os.makedirs(dst)
errors = []
for name in names:
if name in ignored_names:
continue

srcname = os.path.join(src, name)
dstname = os.path.join(dst, name)
     ...return dst
def fn(src,file_names):
filter(lambda x:x.startwith('t'),file_names)
#上面的语句等同于下面的语句
fn = lambda src,names:filter(lambda x:x.startwith('t').file_names)
#filter(function, iterable)
#注意: Pyhton2.7 返回列表,Python3.x 返回迭代器对象
#假设D:/temp下有a,b目录
def ignore(src,names):
ig = filter(lambda x:x.startwith('a'),names) #忽略a
return set(ig) shutil.copytree('o:/temp','o:/tt/o',ignore=ignore)

rm删除

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

shutil.rmtree('D:/tmp')    #类似rm  -rf

move移动

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

#在同一盘符下,其实质上就是rename,跨盘符的话才是真正的移动
os.rename('D:/temp/x.txt','D:/t.txt')
os.rename('test3','/tmp/py/test')

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

shutil对压缩包的处理是调用ZipFile和ZipFile两个模块来处理的
参考:https://www.cnblogs.com/zjltt/p/6957663.html

csv文件

csv文件简介(文本格式,半结构化数据)

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

手动生成CSV文件

from pathlib import Path
p = Path('F:\\百度网盘下载资料\\Python全栈开发\\python进阶1\\19Python的文件IO(三)(6)\\test.csv')
parent = p.parent
if not parent.exists():
parent.mkdir(parents=True)
csv_body = '''\
id,name,age,comment
1,zs,18,"I'm 18"
2,ls,20,"This is a testing"
3,ww,232,"中 国"
'''
p.write_text(csv_body)

csv模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

from pathlib import Path
import csv
p = Path('F:\\test.csv')
with open(str(p)) as f:
reader = csv.reader(f)
print(next(reader)) row = [4,'cty',22,'tom']
rows = [
(1,'',3,''),
(11,'',22,"\"123123")
]
with open(str(p),'a+') as f:
writer = csv.writer(f)
writer.writerow(row)
writer.writerows(rows)

ini文件

作为配置文件,ini文件格式很流行

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

中括号里面的部分称为section。
每一个section内,都是key=value形成的键值对,key称为option选项。

configparser

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

Python进阶5---StringIO和BytesIO、路径操作、OS模块、shutil模块

from configparser import ConfigParser

cfg = ConfigParser()
cfg.read('mysql.ini')
print(cfg.sections())
print(cfg.has_section('deploy'))
print(cfg.items('deploy')) for k,v in cfg.items('deploy'):
print(k,type(v)) tmp = cfg.get('deploy','a')
print(tmp,type(tmp))
print(cfg.get('deploy','a',fallback='python')) print(cfg.getint('mysql','aa')) if cfg.has_section('mysql'):
cfg.remove_section('mysql') cfg.add_section('cy')
cfg.set('cy','ly','')
cfg.set('cy','ggz','') # 上面的删除和新增功能需要重新写入文件才会生效
with open('mysql.ini','w') as f:
cfg.write(f) print(cfg.getint('cy','ggz'))
print(cfg.remove_option('cy','ly')) with open('mysql.ini','w') as f:
cfg.write(f)
注意:配置文件一般加载后常驻于内存中,且读取操作远远多于写入操作。
上一篇:使用curl发起https请求


下一篇:asp.net的code-Behind技术