Python 模块
为了实现对程序特定功能的调用和存储，人们将代码封装起来，可以供其他程序调用，可以称之为模块.
如：os 是系统相关的模块；file是文件操作相关的模块；sys是访问python解释器的变量和函数的方法的模块等...
模块分为三种：
- 自定义模块
- 内置模块
- 第三方模块
Python应用越来越广泛，在一定程度上也依赖于其为程序员提供了大量的模块以供使用，如果想要使用模块，则需要导入。
python有三种导入模块的方法:
import modname //import 语句 from modname import funcname as rename //from ...import ..as 语句 from modname import fa, fb, fc 或者 from modname import * //from ...import *(不推荐使用这种方式)
import sys print sys.path // 获取模块搜索路径的字符串集合 结果： ['/Users/wupeiqi/PycharmProjects/calculator/p1/pp1', '/usr/local/lib/python2.7/site-packages/setuptools-15.2-py2.7.egg', '/usr/local/lib/python2/
如果sys.path路径列表没有你想要的路径，可以通过 sys.path.append('路径') 添加。
导入模块其实就是告诉Python解释器去解释那个py文件:
- 导入一个py文件，解释器解释该py文件
- 导入一个包，解释器解释该包下的 __init__.py 文件
下载安装第三方模块：
第一种方法：
yum install 软件名 -y 第二种方式：
下载源码
解压源码
进入目录
编译源码 python setup.py build
安装源码 python setup.py install 注：在使用源码安装时，需要使用到gcc编译和python开发环境，所以，需要先执行：yum install gcc python-devel 安装成功后，模块会自动安装到 sys.path 中的某个目录中，如：/usr/lib/python2.7/site-packages/
一、OS模块：
Python的标准库中的os模块主要涉及普遍的操作系统功能。可以在Linux和Windows下运行，与平台无关.
os.getcwd() 获取当前工作目录，即当前python脚本工作的目录路径
os.chdir("dirname") 改变当前脚本工作目录；相当于shell下cd
os.curdir 返回当前目录: ('.')
os.pardir 获取当前目录的父目录字符串名：('..')
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
os.mkdir('dirname') 生成单级目录；相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
os.sep 输出操作系统特定的路径分隔符，win下为"\\",Linux下为"/"
os.linesep 输出当前平台使用的行终止符，win下为"\t\n",Linux下为"\n"
os.pathsep 输出用于分割文件路径的字符串
os.name 输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command") 运行shell命令，直接显示
os.environ 获取系统环境变量
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以／或\结尾，那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在，返回True；如果path不存在，返回False
os.path.isabs(path) 如果path是绝对路径，返回True
os.path.isfile(path) 如果path是一个存在的文件，返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录，则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
30 os.putenv(key, value) 用来设置环境变量
31 os.path.splitext(): 分离文件名与扩展名
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))路径解析：
二、sys模块
用于提供对解释器相关的操作
sys.argv argv 列表包含了传递给脚本的所有参数, 列表的第一个元素为脚本自身的名称.
#argv.py
>>>Import sys
>>>Print sys.argv[number]
一般情况下，number为0是这个脚本的名字，1，2…则为命令行下传递的参数
sys.argv: //实现从程序外部向程序传递参数
sys.exit(): //程序中间的退出，exit(0):无错误退出
sys.path: //获取指定模块搜索路径的字符串集合.
sys.platform: //获取当前系统平台 出现如： "win32" "linux2" 等.
sys.getdefaultencoding(): //获取系统当前编码，一般默认为ascii.
sys.getfilesystemencoding(): //获取文件系统使用编码方式，Windows下返回'mbcs'，mac下返回'utf-8'.
sys.setdefaultencoding(): //设置系统默认编码，执行dir（sys）时不会看到这个方法，在解释器中执行不通过，可以先执行reload(sys)，在执
行 sys.setdefaultencoding('utf8')，此时将系统默认编码设置为utf8。（见设置系统默认编码 ）
sys.stdin,sys.stdout,sys.stderr stdin , stdout , 以及stderr 变量包含与标准I/O 流对应的流对象. 如果需要更好地控制输出,而print 不能满足你的要求, 它们就是你所需 要的. 你也可以替换它们, 这时候你就可以重定向输出和输入到其它设备( device ), 或者以非标准的方式处理它们.
#!/usr/bin/env python
# coding:utf-8 import sys # li = sys.argv[0]
# print os.path.split(li)[1] 取出脚本的名称 def readfile(filename):
print "Print file information...."
f = open(filename)
while True:
line = f.readline()
if len(line) == 0:
break
else:
print line
f.close()
print "sys.argv[0]-------",sys.argv[0]
print "sys.argc[1]-------",sys.argv[1] if len(sys.argv) < 2:
print "No action specitfied."
sys.exit()
if sys.argv[1].startswith('--'):
option = sys.argv[1][2:]
if option == 'verson':
print "Verson1.2"
elif option == 'help':
print """
This program prints files to the standard output.
Any number of files can be specified.
Options include:
--version : Prints the version number
--help : Display this help''' """
else:
print "Unkown option"
sys.exit()
else:
for filename in sys.argv[1:]:
readfile(filename)
sys.argv用法实例
三、time模块：
时间相关的操作，时间有三种表示方式：
- 时间戳 1970年1月1日之后的秒，即：time.time()
- 格式化的字符串 2014-11-11 11:11， 即：time.strftime('%Y-%m-%d')
- 结构化时间 元组包含了：年、日、星期等... time.struct_time 即：time.localtime()
time.time()
time.mktime(time.localtime()) time.gmtime() #可加时间戳参数
time.localtime() #可加时间戳参数
time.strptime('2014-11-11', '%Y-%m-%d') time.strftime('%Y-%m-%d') #默认当前时间
time.strftime('%Y-%m-%d',time.localtime()) #默认当前时间
time.asctime()
time.asctime(time.localtime())
time.ctime(time.time()) import datetime
datetime.date： 表示日期的类。常用的属性有year, month, day
datetime.time： 表示时间的类。常用的属性有hour, minute, second, microsecond
datetime.datetime：表示日期时间
datetime.timedelta：表示时间间隔，即两个时间点之间的长度
timedelta([days[, seconds[, microseconds[, milliseconds[, minutes[, hours[, weeks]]]]]]])
strftime("%Y-%m-%d") datetime.datetime.now()
datetime.datetime.now() - datetime.timedelta(days=5) //计算当前时间向后5天的时间。
总结下这些百分号控制符的用法，如下：
%Y 对应年份四位数表示 %y 对应年份两位数表示
%m 对应月份 %d 对应日期
%H 对应时间 24小时制 %I 对应时间12小时制
%M 对应分钟 %S 对应秒钟
%j 对应一年中的第几天 %w 对应星期 %W一年中的星期数
四、hashlib
Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。
摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。
import md5
hash = md5.new()
hash.update('admin')
print hash.hexdigest()
md5-废弃
import sha hash = sha.new()
hash.update('admin')
print hash.hexdigest()
sha-废弃
import hashlib #从python直接导入hashlib模块 # ######## md5 ######## hashlib自带有md5的加密功能 hash = hashlib.md5() #调用hashlib里的md5()生成一个md5 hash对象
hash.update('admin') #用update方法对字符串进行md5加密的更新处理
print hash.hexdigest() #加密后的十六进制结果 # ######## sha1 ######## hash = hashlib.sha1() #调用hashlib里面的sha1()生成一个sha1的hash对象.
hash.update('admin')
print hash.hexdigest()
14 print hash.digest() #加密后的二进制结果
如果只需对一条字符串进行加密处理，也可以用一条语句的方式： print hashlib.new("md5", "admin").hexdigest()
以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密。
import hashlib
# ######## md5 ########
hash = hashlib.md5('898oaFs09f') //在hashlib.md5中添加自定义的key
hash.update('admin')
print hash.hexdigest()
python 还有一个 hmac 模块，它内部对我们创建 key 和 内容 再进行处理然后再加密.
import hmac
h = hmac.new('fdkadka;dds')
h.update('admin')
print h.hexdigest() 4497e0b76cf7b126d92063df0959b072
五、ConfigParser
用于对特定的配置进行操作，当前模块的名称在 python 3.x 版本中变更为 configparser.
读取配置文件：
-read(filename) 直接读取ini文件内容
-sections() 得到所有的section，并以列表的形式返回
-options(section) 得到该section的所有option
-items(section) 得到该section的所有键值对
-get(section,option) 得到section中option的值，返回为string类型
-getint(section,option) 得到section中option的值，返回为int类型，还有相应的getboolean()和getfloat() 函数。
基本的写入配置文件：
-add_section(section) 添加一个新的section
-set( section, option, value) 对section中的option进行设置，需要调用write将内容写入配置文件。
配置文件test.cfg内容如下：
[sec_a]
a_key1 = 20
a_key2 = 10 [sec_b]
b_key1 = 121
b_key2 = b_value2
b_key3 = $r
b_key4 = 127.0.0.1
测试文件test.py：
#!/usr/bin/env python
# -* - coding: UTF-8 -* - import ConfigParser conf = ConfigParser.ConfigParser() #生成conf对象 conf.read("test.cfg") #用conf对象读取配置文件 #读配置文件 secs = conf.sections() #以列表形式返回所有的section print 'secs :', secs #secs : ['sec_b', 'sec_a'] options = conf.options("sec_a") #得到指定section的所有option print 'options:', options #options: ['a_key1', 'a_key2'] options = conf.items("sec_a") #得到指定section的所有键值对 print 'sec_a:', options #sec_a: [('a_key1', '20'), ('a_key2', '10')] str_val = conf.get("sec_a", "a_key1") #指定section，option读取值
int_val = conf.getint("sec_a", "a_key2") print "value for sec_a's a_key1:", str_val #value for sec_a's a_key1: 20
print "value for sec_a's a_key2:", int_val #value for sec_a's a_key2: 10 #写配置文件 conf.set("sec_b", "b_key3", "new-yl") #更新指定section，option的值 conf.set("sec_b", "b_newkey", "new-value") #写入指定section增加新option和值 conf.add_section('a_new_section') #增加新的section conf.set('a_new_section', 'new_key', 'new_value') #写入指定section增加新option和值 conf.write(open("test.cfg", "w")) #写回配置文件
subprocess 模块:
subprocess模块用来生成子进程，并可以通过管道连接它们的输入/输出/错误，以及获得它们的返回值.
它用来代替多个旧模块和函数:
os.system
os.spawn*
os.popen*
popen2.*
commands.*
subprocess.call() 执行程序，并等待它完成
def call(*popenargs, **kwargs):
return Popen(*popenargs, **kwargs).wait()
--------------------------------------------------------------- subprocess.call(["ls", "-l"])
subprocess.call(["ls", "-l"], shell=False)
shell=False：False时，如果args只是一个字符串，则被当作要执行的程序的路径名，其中不能有命令行参数；shell=True时，如果args是一个字符串，它作为shell的命令行进行执行。注意：这个区别只限于Unix系统，对于Windows系统，两者基本是相同的。
subprocess.check_call() 调用前面的call，如果返回值非零，则抛出异常.
def check_call(*popenargs, **kwargs):
retcode = call(*popenargs, **kwargs)
if retcode:
cmd = kwargs.get("args")
raise CalledProcessError(retcode, cmd)
return 0
subprocess.check_output() 执行程序，并返回其标准输出:
def check_output(*popenargs, **kwargs):
process = Popen(*popenargs, stdout=PIPE, **kwargs)
output, unused_err = process.communicate()
retcode = process.poll()
if retcode:
cmd = kwargs.get("args")
raise CalledProcessError(retcode, cmd, output=output)
return output
Popen对象
该对象提供有不少方法函数可用。而且前面已经用到了wait()/poll()/communicate()
| poll() | 检查是否结束，设置返回值 |
| wait() | 等待结束，设置返回值 |
| communicate() | 参数是标准输入，返回标准输出和标准出错 |
| send_signal() | 发送信号 (主要在unix下有用) |
| terminate() | 终止进程，unix对应的SIGTERM信号，windows下调用api函数TerminateProcess() |
| kill() | 杀死进程(unix对应SIGKILL信号)，windows下同上 |
| stdin stdout stderr |
参数中指定PIPE时，有用 |
| pid | 进程id |
| returncode | 进程返回值 |
import subprocess
obj = subprocess.Popen("mkdir t3", shell=True, cwd='/home/dev',)
import subprocess obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
obj.stdin.write('print 1 \n ')
obj.stdin.write('print 2 \n ')
obj.stdin.write('print 3 \n ')
obj.stdin.write('print 4 \n ') cmd_out = obj.stdout.read()
cmd_error = obj.stderr.read()
print cmd_out
print cmd_error
import subprocess obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out_error_list = obj.communicate('print "hello"')
print out_error_list
random模块
Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。
random.random() #random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0
例如：
>>> random.random()
0.085891554608514942 random.randint()
random.randint()的函数原型为：random.randint(a, b)，用于生成一个指定范围内的整数。其中参数a是下限，参数b是上限，生成的随机数n: a <= n <= b >>> random.randint(1,100)
76 random.randrange
random.randrange的函数原型为：random.randrange([start], stop[, step])，从指定范围内，按指定基数递增的集合中 获取一个随机数。
如：random.randrange(10, 100, 2)，结果相当于从[10, 12, 14, 16, ... 96, 98]序列中获取一个随机数 random.sample
random.sample的函数原型为：random.sample(sequence, k)，从指定序列中随机获取指定长度的片断。sample函数不会修改原有序列。
list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
slice = random.sample(list, 5) #从list中随机获取5个元素，作为一个片断返回
print slice
print list #原有序列并没有改变.
随机字符：
>>> random.choice('qiwsir.github.io')
'g'
多个字符中选取特定数量的字符：
random.sample('qiwsir.github.io',3)
['w', 's', 'b']
随机选取字符串：
random.choice ( ['apple', 'pear', 'peach', 'orange', 'lemon'] )
洗牌：把原有的顺序打乱，按照随机顺序排列
>>> items = [1, 2, 3, 4, 5, 6]
>>> random.shuffle(items)
>>> items
[3, 2, 5, 6, 4, 1]
随机验证码实例：
import random
checkcode = '' #定义一个空字符串
for i in range(4): #在[0, 1, 2, 3]中进行循环
current = random.randrange(0,4)
if current != i:
temp = chr(random.randint(65,90))
else:
temp = random.randint(0,9)
checkcode += str(temp)
print checkcode
logging模块：
用于便捷记录日志且线程安全的模块
import logging
logging.basicConfig(filename='log.log', #通过logging.basicConfig函数对日志的输出格式及方式做相关配置
format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
datefmt='%Y-%m-%d %H:%M:%S %p',
level=10)
logging.debug('debug')
logging.info('info')
logging.warning('warning')
logging.error('error')
logging.critical('critical')
logging.log(10,'log')
###############################################
日志等级：
日志级别大小关系为：CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET，当然也可以自己定义日志级别。
1 CRITICAL = 50
2 FATAL = CRITICAL
ERROR = 40
WARNING = 30
5 WARN = WARNING
6 INFO = 20
7 DEBUG = 10
NOTSET = 0
将日志同时输出到文件和屏幕:
import logging
#创建一个logger
3 logger = logging.getLogger('logger') #name名称
4 logger.setLevel(logging.DEBUG) #全局日志级别
#创建一个handler，用于写入日志文件
6 fh = logging.FileHandler('test.log') #输出到日志文件test.log
7 fh.setLevel(logging.DEBUG) #debug级别以上的日志信息全部输出到文件test.log中
#再创建一个handler，用于输出到控制台
ch = logging.StreamHandler() #输出屏幕
ch.setLevel(logging.ERROR) #error级别以上的日志全部输出到屏幕
#定义handler的输出格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') ch.setFormatter(formatter)
fh.setFormatter(formatter)
#给logger添加handler
logger.addHandler(ch) #把屏幕和文件句柄交给logger接口执行
logger.addHandler(fh) # 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
Python 正则表达式之 re模块:
Python中有关正则表达式的知识和语法，不作过多解释，网上有许多学习的资料。这里主要介绍Python中常用的正则表达式处理函数。
re.match
re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配不成功的话，match()就返回none。
re.match(pattern, string, flags=0)
import re
m = re.match(r'www','www.baidu.com') #只匹配首行开头的字符.
print m.group() #返回被www 匹配的字符串
re.search
re.search 扫描整个字符串并返回第一个成功的匹配,如果字符串没有匹配，则返回None。
import re
obj = re.search('\d+', 'u123uu888asf') #'d+'表示以数字进行分割.
if obj:
print obj.group()
re.match与re.search的区别：re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。
re.sub
re.sub函数进行以正则表达式为基础的替换工作
import re
text = "123abc456def789"
#text = re.sub('\d+', 'QQ', text) #匹配任何十进制(\d+)，并将其替换为QQ
text = re.sub('\d+', 'BB', text, 1) #匹配任何十进制数字，并将第一次出现的替换为QQ
print text
re.split
可以使用re.split根据指定匹配进行分割，示例如下.
content = "'1+2*(3+4)(7+8)*10/2+5'"
#li = re.split('\*', content) #以*号对content进行分割.
li = re.split('\*', content, 1)
print li
re.findall
上述re.match和re.search均用于匹配单值，即：只能匹配字符串中的一个，如果想要匹配到字符串中所有符合条件的元素，则需要使用 findall。
import re text = "fa123uu888asfabc456def789"
obj = re.findall('\d+', text)
print obj #####################################
['', '', '', '']
re.compile
可以把那些经常使用的正则表达式编译成正则表达式对象，再次使用时不用再编译，这样可以提高一定的效率.
import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
regex = re.compile(r'\w*oo\w*')
print regex.findall(text) #查找所有包含'oo'的单词
print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来.
##############################################################结果如下. ['JGood', 'cool']
[JGood] is a handsome boy, he is [cool], clever, and so on...
Python预定义字符集如下：
字符： . 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线或汉字
\s 匹配任意的空白符
\d 匹配数字
\b 匹配单词的开始或结束
^ 匹配字符串的开始
$ 匹配字符串的结束 次数： * 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次