Python爬虫之正则表达式与httpx的使用与案例

三、正则表达式

1、实例

模式 描述
\w 匹配字母、数字以及下划线
\W 匹配不是字母、数字以及下划线
\s 匹配任意空白字符,等价于[\t\n\r\f]
\S 匹配任意非空字符
\d 匹配任意数字,等价于[0-9]
\D 匹配任意非数字的字符
\A 匹配字符串开头
\Z 匹配字符串结尾。如果存在换号,只匹配到换行符前的结束字符串
\z 匹配字符串结尾。如果存在换行,同时还会匹配换行符
\G 匹配最后匹配完成的位置
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配一行字符串的开头
$ 匹配一行字符串的结尾
. 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,可以匹配包括换行符的任意字符
[…] 用来表示一组字符,单独列出,例如[amk]用来匹配a、m或k
[^…] 匹配不在[]中的字符,例如匹配除了a、b、c之外的字符
* 匹配0个或多个表达式
+ 匹配1个或多个表达式
? 匹配0个或1个前面的正则表达式定义的片段,非贪婪方式
{n} 精确匹配n个前面的表达式
{n,m} 匹配n次到m次由前面正则表达式定义的片段,贪婪方式
a|b 匹配a或b
() 匹配括号内的表达式,也表示一个组

2、match

​ 常用的匹配方法–match,向它传入要匹配的字符串以及正则表达式,就可以检测这个正则表达式是否和字符串相匹配。match方法会从字符串的起始位置开始匹配正则表达式,如果匹配,返回匹配成功的结果,否则None

import re

content = 'Hello 123 4567 world_This is a Regex Demo'
print(len(content))		# 41
result = re.match('^Hello\s\d\d\d\s\d{4}\s\w{10}',content)
print(result)			# <re.Match object...
print(result.group())	# Hello 123 4567 world_This
print(result.span())	# (0, 25)
  • group方法可以输出匹配到的内容
  • span方法可以输出匹配的范围

2.1、匹配目标

​ 使用括号()将想要提取的字符串括起来。()实际上标记了一个子表达式的开始和结束位置,被标记的每个子表达式依此对应每个分组,调用group方法传入分组的索引即可获得提取结果

content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld',content)
print(result)			# <re.Match object;...
print(result.group())	# Hello 1234567 World
print(result.group(1))	# 1234567
print(result.span())	# (0, 19)

# 成功得到被括号括起来的1234567,group()会输出完整的匹配结果,而group(1)会输出第一个括号的匹配结果,同理,若还有括号,可group(2)、group(3)...

2.2、通用匹配

​ 上述空白字符需要写\s匹配、数字\d匹配,量大。因此,万能匹配:.* 其中.可以匹配任意字符(除换行符),*代表匹配前面字符无数次。改写上述代码:

content = 'Hello 123 4567 world_This is a Regex Demo'
result = re.match('^Hello.*Demo$',content)
print(result)			# <re.Match object...
print(result.group())	# Hello 123 4567 world_This is a Regex Demo
print(result.span())	# (0, 41)

2.3、贪婪与非贪婪

  • 贪婪匹配下、*.会匹配尽可能多的字符

  • 非贪婪匹配、.*?会匹配尽可能少的字符、但如果匹配的结果在字符串结尾,则可能匹配不到任何内容。

import re
content = 'Hello 1234567 World_This is a Regex Demo'
result1 = re.match('^He.*(\d+).*Demo$',content)
result2 = re.match('^He.*?(\d+).*Demo$',content)
print(result1.group(1))		# 7	
print(result2.group(1))		# 1234567

# 贪婪匹配下、.*把123456都匹配了,只剩下7给\d+匹配。
# 非贪婪匹配下、.*?把1234567交给\d+匹配。

2.4、修饰符

当遇到换行符时,.*?就不能匹配了。此时,加上修饰符re.S即可修正。

import re
content = '''Hello 1234567 World_This
is a Regex Demo'''
result = re.match('^He.*?(\d+).*?Demo$',content,re.S)
print(result.group(1))		# 1234567
修饰符 描述
re.I 使匹配对大小写不敏感
re.L 实现本地化识别(locale-aware)匹配
re.M 多行匹配,影响^和$
re.S 使匹配内容包括换行符在内的所有字符
re.U 根据Unicode字符集解析字符,这个标志会影响\w、\W、\b和\B\
re.X 该标志能够给予你更灵活的格式,以便将正则表达式书写的便于理解

2.5、转义匹配

当目标字符串中遇到用作正则匹配模式的特殊字符时,在 此字符前面加反斜杠\转义一下即可。

content = '(百度)www.baidu.com'
result = re.match('\(百度\)www\.baidu\.com',content)
print(result)  # <re.Match object; span=(0, 17), match='(百度)www.baidu.com'>

2.6、search

​ **search方法在匹配时会扫描整个字符串,然后返回第一个匹配成功的结果。**也就是说,正则表达式可以是字符串的一部分。在匹配时,search方法会依次以每个字符作为开头扫描字符串,直到找到第一个符合规则的字符串,然后返回匹配的内容。

content = 'Extra stings Hello 1234567 World_This s Regex Demo Extra    stings'
result = re.search('Hello.*?(\d+).*?Demo',content)
print(result)	# 1234567

2.7、findall

findall方法能获取与正则表达式相匹配的所有字符串。其返回的结果是列表类型,需要通过遍历来依次获取每组内容。

# 上述代码改写
results = re.findall('<li.*?href="(.*?)".*?singer="(.*?)">(.*?)</a>',html,re.S)
for result in results:
    # print(result)
    print(result[0],result[1],result[2])
    
#/2.mp3 任贤齐 沧海一声笑
#/3.mp3 齐泰 往事随风
#/4.mp3 beyond 光辉岁月
#/5.mp3 陈慧琳 记事本
#/6.mp3 邓丽君 但愿人长久

2.8、sub

​ 除了使用正则表达式提取信息,还可借助来修改文本。

content = '54aK54yr5oiR54ix5L2g'
content = re.sub('\d+','',content)
print(content)

# aKyroiRixLg
# sub()方法中的第一个参数传入\d+匹配所有数字,第二个参数中传入把数字替换成的字符串,第三个参数是原字符串。

html = re.sub('<a.*?>|</a>','',html)
print(html)
results = re.findall('<li.*?>(.*?)</li>',html,re.S)
for result in results:
    print(result.strip())
# 一路上有你
#沧海一声笑
#往事随风
#光辉岁月
#记事本
#但愿人长久
# sub方法处理后,a节点就没有了,然后findall方法直接提取即可。

2.9、compile

  • compile可以将正则表达式编译成正则表达式对象,以便在后面的匹配中复用
  • 可以说compile方法是给正则表达式做了一层封装。
content1 = '2019-12-15 12:00'
content2 = '2019-12-17 12:55'
content3 = '2019-12-22 12:55'
pattern = re.compile('\d{2}:\d{2}')		# 去掉时间正则表达式
result1 = re.sub(pattern,'',content1)	# 复用
result2 = re.sub(pattern,'',content2)
result3 = re.sub(pattern,'',content3)
print(result1,result2,result3)

# 2019-12-15  2019-12-17  2019-12-22 

四、httpx的使用*

​ 有些网站强制使用HTTP/2.0协议访问,这时urllib和reequests是无法爬取数据的,因为它们只支持HTTP/1.1。

​ hyper和httpx是支持HTTP/2.0的请求库,requests已有的功能它几乎都支持。

1、示例*

url = 'https://spa16.scrape.center/'
response = requests.get(url)
print(response.text)			# 报错,无法访问

2、安装

pip3 install "httpx[http2]"

3、基本使用

  • GET请求:
import httpx

client = httpx.Client(http2=True)
response = client.get('https://spa16.scrape.center')
print(response.text)

大多与requests相似

4.Client对象

​ Client对象的使用:

with httpx.Client() as client:
    response = client.get('https://www.httpbin.org/get')
    print(response)	

​ 声明client对象时可以指定一些参数:

url = 'https://www.httpbin.org/headers'
headers = {'User-Agent':'my-app/0.0.1'}
with httpx.Client(headers=headers) as client:
    r = client.get(url)
    print(r.json()['headers']['User-Agent'])

5、支持HTTP/2.0

client = httpx.Client(http2=True)
response = client.get('https://spa16.scrape.center')
print(response.text)

6、支持异步请求

httpx还支持异步客户端请求(即AsyncClient),支持Python的async的请求模式:

import httpx
import asyncio

async def fetch(url):
    async  with httpx.AsyncClient(http2=True) as client:
        response = await client.get(url)
        print(response.text)
if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(fetch('https://www.httpbin.org/get'))
上一篇:Python+django+vue开发的家教信息管理系统


下一篇:自学(网络安全)黑客——高效学习2024