1.re模块和基础方法
2.在python中使用正则表达式的特点和问题
3.使用正则表达式的技巧
4.简单爬虫例子
一.re模块
模块引入; import re
相关知识:
1.查找:
(1)findall: 匹配所有 每一项都是列表中的一个元素
例:
ret = re.findall('\d+','sjkhk172按实际花费928') # 格式:正则表达式,带匹配的字符串,flag
# 结果: ['172', '928']
ret = re.findall('\d','sjkhk172按实际花费928') # 正则表达式,带匹配的字符串,flag
print(ret)
#结果:['1', '7', '2', '9', '2', '8']
(2)search: 只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果,如果没有匹配到,会返回None,使用group会报错
例:
ret = re.search('\d+','sjkhk172按实际花费928')
print(ret) # 内存地址,这是一个正则匹配的结果
#结果:<_sre.SRE_Match object; span=(5, 8), match='172'>
print(ret.group()) # 通过ret.group()获取真正的结果
#结果:172
ret = re.search('\d','owghabDJLBNdgv')
print(ret)
print(ret.group())
#结果:
None
File "E:/python_01/day17/code/day17/3.re模块.py", line 20, in <module>
print(ret.group())
AttributeError: 'NoneType' object has no attribute 'group'
所以,我们以后的模块代码模式应该如下:
例:
ret = re.search('\d+','sjkhk172按实际花费928')
if ret : # 内存地址,这是一个正则匹配的结果
print(ret.group()) # 通过ret.group()获取真正的结果
#结果:172
(3)march: 从头开始匹配,相当于search中的正则表达式加上一个^
例:
ret = re.match('\d+','172sjkhk按实际花费928')
print(ret)
print(ret.group())
#结果:<_sre.SRE_Match object; span=(0, 3), match='172'>
172
所以,如上所示,如果在正则表达式后面加上 $符,通过group()方法来获取结果,没有匹配到,则返回None , 则group()结果会报错.
例:
ret = re.match('\d+$','172sjkhk按实际花费928')
print(ret)
print(ret.group())
#结果:
None
File "E:/python_01/day17/code/day17/3.re模块.py", line 30, in <module>
print(ret.group())
AttributeError: 'NoneType' object has no attribute 'group'
2.字符串处理的扩展: 替换 切割
(1)split: 返回列表,按照正则规则切割,默认匹配到的内容会被切掉
例:
正常切割:
s = 'alex|taibai|egon|'
print(s.split('|')) #结果:['alex', 'taibai', 'egon', ''] re模块 正则表达式切割:
s = 'alex83taibai40egon25'
ret = re.split('\d+',s)
print(ret)
#结果:['alex', 'taibai', 'egon', '']
(2)sub: 替换,按照正则规则去寻找要被替换掉的内容 (count: 表示替换次数)
ret = re.sub('\d+','H','alex83taibai40egon25')
print(ret)
#结果:alexHtaibaiHegonH
ret = re.sub('\d+','H','alex83taibai40egon25',1)
print(ret)
#结果:alexHtaibai40egon25
(3)subn: 返回一个元组,第二个元素是替换的次数
例:
ret = re.subn('\d+','H','alex83taibai40egon25')
print(ret)
#结果:('alexHtaibaiHegonH', 3)
3.re模块的进阶: 时间和空间
(1)编译: compile: 节省你使用正则表达式解决问题的时间
编译 正则表达式 编译成 字节码
在多次使用的过程中 不会多次编译
例:
ret = re.compile('\d+') # 已经完成编译了
print(ret)
res = ret.findall('alex83taibai40egon25')
print(res)
res = ret.search('sjkhk172按实际花费928')
print(res.group())
#结果:
re.compile('\\d+')
['', '', '']
172
(2) finditer: 节省你使用正则表达式解决问题的空间/内存
例:
ret = re.finditer('\d+','alex83taibai40egon25')
for i in ret:
print(i.group())
#结果:
83
40
25
总结: re模块:
findall: 返回列表 找所有的匹配项 search: 匹配就 返回一个变量,通过group取匹配到的第一个值,不匹配就返回None,group会报错 match : 相当于search的正则表达式中加了一个'^' spilt : 返回列表,按照正则规则切割,默认匹配到的内容会被切掉 sub/subn: 替换,按照正则规则去寻找要被替换掉的内容,subn返回元组,第二个值是替换的次数 compile: 编译一个正则表达式,用这个结果去search match findall finditer 能够节省时间 finditer: 返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值 能够节省内存
二.在python中使用正则表达式的特点和问题
主要知识点: 分组在re模块中的使用
(1)标签语言: 分组应用
例;
import re
s = '<a>wahaha</a>' # 标签语言 html 网页
ret = re.search('<(\w+)>(\w+)</(\w+)>',s)
print(ret.group()) # 所有的结果
print(ret.group(1)) # 数字参数代表的是取对应分组中的内容
print(ret.group(2))
print(ret.group(3)) #结果:
<a>wahaha</a>
a
wahaha
a
(2)分组优先:
为了findall也可以顺利取到分组中的内容,有一个特殊的语法,就是优先显示分组中的内容
例:
s = '<a>wahaha</a>' # 标签语言 html 网页
ret = re.findall('(\w+)',s)
print(ret) #结果: ['a', 'wahaha', 'a'] s = '<a>wahaha</a>' # 标签语言 html 网页
ret = re.findall('>(\w+)<',s)
print(ret) #结果: ['wahaha']
取消分组优先:(?: 正则表达式)
ret = re.findall('\d+(\.\d+)?','1.234*4')
print(ret)
#结果:
['.234', '']
(3)关于分组
对于正则表达式来说 有些时候我们需要进行分组,来整体约束某一组字符出现的次数
(\.[\w]+)?
对于python语言来说 分组可以帮助你更好更精准的找到你真正需要的内容
<(\w+)>(\w+)</(\w+)>
split
例:
ret = re.split('\d+','alex83taibai40egon25')
print(ret)
#结果:
['alex', 'taibai', 'egon', '']
ret = re.split('(\d+)','alex83taibai40egon25aa')
print(ret)
#结果:
['alex', '', 'taibai', '', 'egon', '', 'aa']
##python 和 正则表达式 之间的特殊的约定
(4)分组命名; (?:<这个组的名字>正则表达式)
s = '<a>wahaha</a>'
ret = re.search('>(?P<con>\w+)<',s)
print(ret.group(1))
print(ret.group('con')) #结果:
wahaha
wahaha
s = '<a>wahaha</a>'
pattern = '<(\w+)>(\w+)</(\w+)>'
ret = re.search(pattern,s)
print(ret.group(1) == ret.group(3)) #结果:
True
使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致
例:
s = '<a>wahaha</a>'
pattern = '<(?P<tab>\w+)>(\w+)</(?P=tab)>'
ret = re.search(pattern,s)
print(ret) #结果:
<_sre.SRE_Match object; span=(0, 13), match='<a>wahaha</a>'>
三.使用正则表达式的技巧
你要匹配的内容太没有特点了 容易和你不想匹配的内容混在一起,精准的取到整数 过滤掉小数
例:
import re
ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #结果:
['', '', '', '', '', '', '', ''] .findall(r"\d+\.\d+|\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #结果:
['', '', '', '40.35', '', '', ''] # 你要匹配的内容太没有特点了 容易和你不想匹配的内容混在一起
# 精准的取到整数 过滤掉小数 indall(r"\d+\.\d+|(\d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove('')
print(ret) #结果:
['', '', '', '', '', ''] 正则表达式如果写的足够好的话 能够最大限度的简化我们的操作
四.简单爬虫实例
例:
import re
from urllib.request import urlopen def getPage(url): # 获取网页的字符串
response = urlopen(url)
return response.read().decode('utf-8') def parsePage(s):
ret = com.finditer(s) # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
} def main(num): # 0 25 50 # 这个函数执行10次,每次爬取一页的内容
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url) # response_html就是这个url对应的html代码 就是 str
ret = parsePage(response_html) # ret是一个生成器
print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "\n")
f.close() com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S) count = 0
for i in range(10):
main(count)
count += 25