Python基础之--常用模块

Python 模块

为了实现对程序特定功能的调用和存储,人们将代码封装起来,可以供其他程序调用,可以称之为模块.

如:os 是系统相关的模块;file是文件操作相关的模块;sys是访问python解释器的变量和函数的方法的模块等...

模块分为三种:

  • 自定义模块
  • 内置模块
  • 第三方模块

Python基础之--常用模块

Python应用越来越广泛,在一定程度上也依赖于其为程序员提供了大量的模块以供使用,如果想要使用模块,则需要导入。

python有三种导入模块的方法:

 import modname                                 //import 语句

 from modname import funcname  as rename                    //from ...import ..as 语句

 from modname import fa, fb, fc  或者  from modname import *       //from ...import *(不推荐使用这种方式)
 import sys

 print sys.path            // 获取模块搜索路径的字符串集合

 结果:

 ['/Users/wupeiqi/PycharmProjects/calculator/p1/pp1', '/usr/local/lib/python2.7/site-packages/setuptools-15.2-py2.7.egg', '/usr/local/lib/python2/

如果sys.path路径列表没有你想要的路径,可以通过 sys.path.append('路径') 添加。

导入模块其实就是告诉Python解释器去解释那个py文件:

  • 导入一个py文件,解释器解释该py文件
  • 导入一个包,解释器解释该包下的 __init__.py 文件

下载安装第三方模块:

 第一种方法:
yum install 软件名 -y 第二种方式:
下载源码
解压源码
进入目录
编译源码 python setup.py build
安装源码 python setup.py install 注:在使用源码安装时,需要使用到gcc编译和python开发环境,所以,需要先执行:yum install gcc python-devel 安装成功后,模块会自动安装到 sys.path 中的某个目录中,如:/usr/lib/python2.7/site-packages/

Python基础之--常用模块

一、OS模块:

Python的标准库中的os模块主要涉及普遍的操作系统功能。可以在Linux和Windows下运行,与平台无关.

 os.getcwd()       获取当前工作目录,即当前python脚本工作的目录路径
os.chdir("dirname")  改变当前脚本工作目录;相当于shell下cd
os.curdir        返回当前目录: ('.')
os.pardir        获取当前目录的父目录字符串名:('..')
os.makedirs('dirname1/dirname2') 可生成多层递归目录
os.removedirs('dirname1') 若目录为空,则删除,并递归到上一级目录,如若也为空,则删除,依此类推
os.mkdir('dirname') 生成单级目录;相当于shell中mkdir dirname
os.rmdir('dirname') 删除单级空目录,若目录不为空则无法删除,报错;相当于shell中rmdir dirname
os.listdir('dirname') 列出指定目录下的所有文件和子目录,包括隐藏文件,并以列表方式打印
os.remove() 删除一个文件
os.rename("oldname","newname") 重命名文件/目录
os.stat('path/filename') 获取文件/目录信息
os.sep 输出操作系统特定的路径分隔符,win下为"\\",Linux下为"/"
os.linesep 输出当前平台使用的行终止符,win下为"\t\n",Linux下为"\n"
os.pathsep 输出用于分割文件路径的字符串
os.name 输出字符串指示当前使用平台。win->'nt'; Linux->'posix'
os.system("bash command") 运行shell命令,直接显示
os.environ 获取系统环境变量
os.path.abspath(path) 返回path规范化的绝对路径
os.path.split(path) 将path分割成目录和文件名二元组返回
os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
os.path.basename(path) 返回path最后的文件名。如何path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素
os.path.exists(path) 如果path存在,返回True;如果path不存在,返回False
os.path.isabs(path) 如果path是绝对路径,返回True
os.path.isfile(path) 如果path是一个存在的文件,返回True。否则返回False
os.path.isdir(path) 如果path是一个存在的目录,则返回True。否则返回False
os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回,第一个绝对路径之前的参数将被忽略
os.path.getatime(path) 返回path所指向的文件或者目录的最后存取时间
os.path.getmtime(path) 返回path所指向的文件或者目录的最后修改时间
30 os.putenv(key, value)           用来设置环境变量
31 os.path.splitext():             分离文件名与扩展名
BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))路径解析:

Python基础之--常用模块

二、sys模块

用于提供对解释器相关的操作

sys.argv              argv 列表包含了传递给脚本的所有参数, 列表的第一个元素为脚本自身的名称.
#argv.py
>>>Import sys
>>>Print sys.argv[number]
一般情况下,number为0是这个脚本的名字,1,2…则为命令行下传递的参数
 sys.argv:                                        //实现从程序外部向程序传递参数
sys.exit():            //程序中间的退出,exit(0):无错误退出
sys.path:  //获取指定模块搜索路径的字符串集合.
sys.platform: //获取当前系统平台 出现如: "win32" "linux2" 等.
sys.getdefaultencoding():  //获取系统当前编码,一般默认为ascii.
sys.getfilesystemencoding():  //获取文件系统使用编码方式,Windows下返回'mbcs',mac下返回'utf-8'.
sys.setdefaultencoding():  //设置系统默认编码,执行dir(sys)时不会看到这个方法,在解释器中执行不通过,可以先执行reload(sys),在执
                            行 sys.setdefaultencoding('utf8'),此时将系统默认编码设置为utf8。(见设置系统默认编码 )
sys.stdin,sys.stdout,sys.stderr stdin , stdout , 以及stderr 变量包含与标准I/O 流对应的流对象. 如果需要更好地控制输出,而print 不能满足你的要求, 它们就是你所需                              要的. 你也可以替换它们, 这时候你就可以重定向输出和输入到其它设备( device ), 或者以非标准的方式处理它们.
#!/usr/bin/env python
# coding:utf-8 import sys # li = sys.argv[0]
# print os.path.split(li)[1] 取出脚本的名称 def readfile(filename):
print "Print file information...."
f = open(filename)
while True:
line = f.readline()
if len(line) == 0:
break
else:
print line
f.close()
print "sys.argv[0]-------",sys.argv[0]
print "sys.argc[1]-------",sys.argv[1] if len(sys.argv) < 2:
print "No action specitfied."
sys.exit()
if sys.argv[1].startswith('--'):
option = sys.argv[1][2:]
if option == 'verson':
print "Verson1.2"
elif option == 'help':
print """
This program prints files to the standard output.
Any number of files can be specified.
Options include:
--version : Prints the version number
--help : Display this help''' """
else:
print "Unkown option"
sys.exit()
else:
for filename in sys.argv[1:]:
readfile(filename)

sys.argv用法实例

三、time模块:

时间相关的操作,时间有三种表示方式:

  • 时间戳               1970年1月1日之后的秒,即:time.time()
  • 格式化的字符串    2014-11-11 11:11,    即:time.strftime('%Y-%m-%d')
  • 结构化时间          元组包含了:年、日、星期等... time.struct_time    即:time.localtime()
 time.time()
time.mktime(time.localtime()) time.gmtime() #可加时间戳参数
time.localtime() #可加时间戳参数
time.strptime('2014-11-11', '%Y-%m-%d') time.strftime('%Y-%m-%d') #默认当前时间
time.strftime('%Y-%m-%d',time.localtime()) #默认当前时间
time.asctime()
time.asctime(time.localtime())
time.ctime(time.time()) import datetime
datetime.date: 表示日期的类。常用的属性有year, month, day
datetime.time: 表示时间的类。常用的属性有hour, minute, second, microsecond
datetime.datetime:表示日期时间
datetime.timedelta:表示时间间隔,即两个时间点之间的长度
timedelta([days[, seconds[, microseconds[, milliseconds[, minutes[, hours[, weeks]]]]]]])
strftime("%Y-%m-%d") datetime.datetime.now()
datetime.datetime.now() - datetime.timedelta(days=5)   //计算当前时间向后5天的时间。

总结下这些百分号控制符的用法,如下:
%Y 对应年份四位数表示 %y 对应年份两位数表示
%m 对应月份 %d 对应日期
%H 对应时间 24小时制 %I 对应时间12小时制
%M 对应分钟 %S 对应秒钟 
%j 对应一年中的第几天 %w 对应星期 %W一年中的星期数

四、hashlib 

Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等。

摘要算法又称哈希算法、散列算法。它通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示)。

 import md5
hash = md5.new()
hash.update('admin')
print hash.hexdigest()

md5-废弃

 import sha

 hash = sha.new()
hash.update('admin')
print hash.hexdigest()

sha-废弃

 import hashlib            #从python直接导入hashlib模块

 # ######## md5 ########  hashlib自带有md5的加密功能

 hash = hashlib.md5()      #调用hashlib里的md5()生成一个md5 hash对象
hash.update('admin')      #用update方法对字符串进行md5加密的更新处理
print hash.hexdigest()     #加密后的十六进制结果 # ######## sha1 ######## hash = hashlib.sha1()      #调用hashlib里面的sha1()生成一个sha1的hash对象.
hash.update('admin')
print hash.hexdigest()
14 print hash.digest()       #加密后的二进制结果

如果只需对一条字符串进行加密处理,也可以用一条语句的方式: print hashlib.new("md5", "admin").hexdigest()

以上加密算法虽然依然非常厉害,但时候存在缺陷,即:通过撞库可以反解。所以,有必要对加密算法中添加自定义key再来做加密。

import hashlib

# ######## md5 ########

hash = hashlib.md5('898oaFs09f')  //在hashlib.md5中添加自定义的key
hash.update('admin')
print hash.hexdigest()

python 还有一个 hmac 模块,它内部对我们创建 key 和 内容 再进行处理然后再加密.

 import hmac
h = hmac.new('fdkadka;dds')
h.update('admin')
print h.hexdigest() 4497e0b76cf7b126d92063df0959b072

五、ConfigParser

用于对特定的配置进行操作,当前模块的名称在 python 3.x 版本中变更为 configparser.

读取配置文件:

  -read(filename)         直接读取ini文件内容

  -sections()                得到所有的section,并以列表的形式返回

  -options(section)           得到该section的所有option

  -items(section)             得到该section的所有键值对

  -get(section,option)          得到section中option的值,返回为string类型

  -getint(section,option)      得到section中option的值,返回为int类型,还有相应的getboolean()和getfloat() 函数。

基本的写入配置文件:

-add_section(section)         添加一个新的section

-set( section, option, value)     对section中的option进行设置,需要调用write将内容写入配置文件。

配置文件test.cfg内容如下:

   [sec_a]
a_key1 = 20
a_key2 = 10 [sec_b]
b_key1 = 121
b_key2 = b_value2
b_key3 = $r
b_key4 = 127.0.0.1

测试文件test.py:

 #!/usr/bin/env python
# -* - coding: UTF-8 -* - import ConfigParser conf = ConfigParser.ConfigParser()       #生成conf对象 conf.read("test.cfg") #用conf对象读取配置文件 #读配置文件 secs = conf.sections() #以列表形式返回所有的section print 'secs :', secs #secs : ['sec_b', 'sec_a'] options = conf.options("sec_a") #得到指定section的所有option print 'options:', options    #options: ['a_key1', 'a_key2'] options = conf.items("sec_a") #得到指定section的所有键值对 print 'sec_a:', options #sec_a: [('a_key1', '20'), ('a_key2', '10')] str_val = conf.get("sec_a", "a_key1")   #指定section,option读取值
int_val = conf.getint("sec_a", "a_key2") print "value for sec_a's a_key1:", str_val #value for sec_a's a_key1: 20
print "value for sec_a's a_key2:", int_val #value for sec_a's a_key2: 10 #写配置文件 conf.set("sec_b", "b_key3", "new-yl") #更新指定section,option的值 conf.set("sec_b", "b_newkey", "new-value")   #写入指定section增加新option和值 conf.add_section('a_new_section') #增加新的section conf.set('a_new_section', 'new_key', 'new_value')       #写入指定section增加新option和值 conf.write(open("test.cfg", "w")) #写回配置文件

 subprocess 模块:

subprocess模块用来生成子进程,并可以通过管道连接它们的输入/输出/错误,以及获得它们的返回值.
它用来代替多个旧模块和函数:
os.system
os.spawn*
os.popen*
popen2.*
commands.*

subprocess.call() 执行程序,并等待它完成

 def call(*popenargs, **kwargs):
return Popen(*popenargs, **kwargs).wait()
--------------------------------------------------------------- subprocess.call(["ls", "-l"])
subprocess.call(["ls", "-l"], shell=False)

shell=False:False时,如果args只是一个字符串,则被当作要执行的程序的路径名,其中不能有命令行参数;shell=True时,如果args是一个字符串,它作为shell的命令行进行执行。注意:这个区别只限于Unix系统,对于Windows系统,两者基本是相同的。

subprocess.check_call() 调用前面的call,如果返回值非零,则抛出异常.

 def check_call(*popenargs, **kwargs):
retcode = call(*popenargs, **kwargs)
if retcode:
cmd = kwargs.get("args")
raise CalledProcessError(retcode, cmd)
return 0

subprocess.check_output() 执行程序,并返回其标准输出:

 def check_output(*popenargs, **kwargs):
process = Popen(*popenargs, stdout=PIPE, **kwargs)
output, unused_err = process.communicate()
retcode = process.poll()
if retcode:
cmd = kwargs.get("args")
raise CalledProcessError(retcode, cmd, output=output)
return output

Popen对象

该对象提供有不少方法函数可用。而且前面已经用到了wait()/poll()/communicate()

poll()                                                                                检查是否结束,设置返回值
wait() 等待结束,设置返回值
communicate() 参数是标准输入,返回标准输出和标准出错
send_signal() 发送信号 (主要在unix下有用)
terminate() 终止进程,unix对应的SIGTERM信号,windows下调用api函数TerminateProcess()
kill() 杀死进程(unix对应SIGKILL信号),windows下同上
stdin
stdout
stderr
参数中指定PIPE时,有用
pid 进程id
returncode 进程返回值
 import subprocess

 obj = subprocess.Popen("mkdir t3", shell=True, cwd='/home/dev',)
 import subprocess

 obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
obj.stdin.write('print 1 \n ')
obj.stdin.write('print 2 \n ')
obj.stdin.write('print 3 \n ')
obj.stdin.write('print 4 \n ') cmd_out = obj.stdout.read()
cmd_error = obj.stderr.read()
print cmd_out
print cmd_error
 import subprocess

 obj = subprocess.Popen(["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
out_error_list = obj.communicate('print "hello"')
print out_error_list

random模块

Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。

 random.random()        #random.random()用于生成一个0到1的随机符点数: 0 <= n < 1.0
例如:
>>> random.random()
0.085891554608514942 random.randint()
random.randint()的函数原型为:random.randint(a, b),用于生成一个指定范围内的整数。其中参数a是下限,参数b是上限,生成的随机数n: a <= n <= b >>> random.randint(1,100)
76 random.randrange
random.randrange的函数原型为:random.randrange([start], stop[, step]),从指定范围内,按指定基数递增的集合中 获取一个随机数。
如:random.randrange(10, 100, 2),结果相当于从[10, 12, 14, 16, ... 96, 98]序列中获取一个随机数 random.sample
random.sample的函数原型为:random.sample(sequence, k),从指定序列中随机获取指定长度的片断。sample函数不会修改原有序列。

list = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
slice = random.sample(list, 5) #从list中随机获取5个元素,作为一个片断返回
print slice
print list #原有序列并没有改变.

随机字符:
>>> random.choice('qiwsir.github.io')
'g'
多个字符中选取特定数量的字符:
random.sample('qiwsir.github.io',3) 
['w', 's', 'b']
随机选取字符串:
random.choice ( ['apple', 'pear', 'peach', 'orange', 'lemon'] )
洗牌:把原有的顺序打乱,按照随机顺序排列
>>> items = [1, 2, 3, 4, 5, 6]
>>> random.shuffle(items)
>>> items
[3, 2, 5, 6, 4, 1]

随机验证码实例:

 import random
checkcode = ''      #定义一个空字符串
for i in range(4):    #在[0, 1, 2, 3]中进行循环
current = random.randrange(0,4)  
if current != i:
temp = chr(random.randint(65,90))
else:
temp = random.randint(0,9)
checkcode += str(temp)
print checkcode

logging模块:

用于便捷记录日志且线程安全的模块

 import logging

 logging.basicConfig(filename='log.log',               #通过logging.basicConfig函数对日志的输出格式及方式做相关配置

                     format='%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',

                     datefmt='%Y-%m-%d %H:%M:%S %p',

                     level=10)

 logging.debug('debug')

 logging.info('info')

 logging.warning('warning')

 logging.error('error')

 logging.critical('critical')

 logging.log(10,'log')

 ###############################################

 日志等级:
日志级别大小关系为:CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET,当然也可以自己定义日志级别。 1 CRITICAL = 50
2 FATAL = CRITICAL
ERROR = 40
WARNING = 30
5 WARN = WARNING
6 INFO = 20
7 DEBUG = 10
NOTSET = 0

将日志同时输出到文件和屏幕:

 import logging
#创建一个logger
3 logger = logging.getLogger('logger') #name名称
4 logger.setLevel(logging.DEBUG) #全局日志级别
#创建一个handler,用于写入日志文件
6 fh = logging.FileHandler('test.log') #输出到日志文件test.log
7 fh.setLevel(logging.DEBUG) #debug级别以上的日志信息全部输出到文件test.log中
#再创建一个handler,用于输出到控制台
ch = logging.StreamHandler() #输出屏幕
ch.setLevel(logging.ERROR) #error级别以上的日志全部输出到屏幕
#定义handler的输出格式
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') ch.setFormatter(formatter)
fh.setFormatter(formatter)
#给logger添加handler
logger.addHandler(ch) #把屏幕和文件句柄交给logger接口执行
logger.addHandler(fh) # 'application' code
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')

Python 正则表达式之 re模块:

Python中有关正则表达式的知识和语法,不作过多解释,网上有许多学习的资料。这里主要介绍Python中常用的正则表达式处理函数。

re.match
re.match 尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配不成功的话,match()就返回none。
re.match(pattern, string, flags=0)

 import re
m = re.match(r'www','www.baidu.com') #只匹配首行开头的字符.
print m.group()                  #返回被www 匹配的字符串

re.search

re.search 扫描整个字符串并返回第一个成功的匹配,如果字符串没有匹配,则返回None。

 import re

 obj = re.search('\d+', 'u123uu888asf')    #'d+'表示以数字进行分割.
if obj:
print obj.group()

re.match与re.search的区别:re.match只匹配字符串的开始,如果字符串开始不符合正则表达式,则匹配失败,函数返回None;而re.search匹配整个字符串,直到找到一个匹配。

re.sub

re.sub函数进行以正则表达式为基础的替换工作

 import re
text = "123abc456def789"
#text = re.sub('\d+', 'QQ', text) #匹配任何十进制(\d+),并将其替换为QQ
text = re.sub('\d+', 'BB', text, 1) #匹配任何十进制数字,并将第一次出现的替换为QQ
print text

re.split

可以使用re.split根据指定匹配进行分割,示例如下.

 content = "'1+2*(3+4)(7+8)*10/2+5'"
#li = re.split('\*', content) #以*号对content进行分割.
li = re.split('\*', content, 1)
print li

re.findall

上述re.matchre.search均用于匹配单值,即:只能匹配字符串中的一个,如果想要匹配到字符串中所有符合条件的元素,则需要使用 findall。

 import re

 text = "fa123uu888asfabc456def789"
obj = re.findall('\d+', text)
print obj #####################################
['', '', '', '']

re.compile

可以把那些经常使用的正则表达式编译成正则表达式对象,再次使用时不用再编译,这样可以提高一定的效率.

 import re
text = "JGood is a handsome boy, he is cool, clever, and so on..."
regex = re.compile(r'\w*oo\w*')
print regex.findall(text) #查找所有包含'oo'的单词
print regex.sub(lambda m: '[' + m.group(0) + ']', text) #将字符串中含有'oo'的单词用[]括起来.
##############################################################结果如下. ['JGood', 'cool']
[JGood] is a handsome boy, he is [cool], clever, and so on...

Python预定义字符集如下:

 字符:

   .   匹配除换行符以外的任意字符
  \w 匹配字母或数字或下划线或汉字
  \s 匹配任意的空白符
  \d 匹配数字
  \b 匹配单词的开始或结束
  ^ 匹配字符串的开始
  $ 匹配字符串的结束 次数:   * 重复零次或更多次
  + 重复一次或更多次
  ? 重复零次或一次
  {n} 重复n次
  {n,} 重复n次或更多次
  {n,m} 重复n到m次
上一篇:linux下安装Oracle时交换空间不足的解决方法


下一篇:Windows Phone 8初学者开发—第17部分:Coding4Fun工具包简介