高性能异步爬虫(二)

单任务异步协程:

  • event_loop:事件循环,相当于一个无限循环,可以把一些函数注册到这个事件循环上,当满足某些条件时,函数就会被循环执行。
  • coroutine:协程对象,可以将协程对象注册到事件循环中,它就会被事件循环所调用,可以使用async关键字来定义一个方法,该方法在调用时不会立即被执行,而是返回一个协程对象。
import asyncio

async def request(url):
    print('正在请求的url是',url)
    print('请求成功',url)

# async修饰的函数,调用之后不会立即执行,返回一个协程对象c
c = request('www.baidu.com')

# 创建一个事件循环对象
loop = asyncio.get_event_loop()
# 把协程对象注册到loop中,然后启动loop
loop.run_until_complete(c)
  • task:任务对象,对协程对象的进一步封装,包含了任务的各个状态。
# task的使用,首先也需要创建一个事件循环对象
loop = asyncio.get_event_loop()
# 然后基于loop创建了一个task对象,然后把协程对象封装到task中
task = loop.create_task(c)
print(task)
# 把协程对象注册到loop中,然后启动loop,由于现在协程对象已经封装到task中
loop.run_until_complete(task)
print(task)

高性能异步爬虫(二)

 

 

   框中的是task在执行前后的状态。

  • future:代表将来执行或还没有执行的任务,实际上和task没本质区别。
# future的使用,首先创建事件循环对象
loop = asyncio.get_event_loop()
# 不需要基于loop创建task对象,直接调用asyncio的方法即可创建,然后把协程对象封装进去
task = asyncio.ensure_future(c)
print(task)
loop.run_until_complete(task)
print(task)

  运行结果同上,用task还是future都可以,看个人习惯。

  • 绑定回调
# 绑定回调
loop = asyncio.get_event_loop()
task = asyncio.ensure_future(c)
# 定义一个回调函数
def callback_func(task):
    # result()返回的是让任务对象task中封装的协程对象c对应的函数的返回值,也就是函数request(url)的返回值url
    print(task.result())
# 将回调函数绑定到任务对象task中
# 调用task的add_done_callback()方法,参数为要绑定的回调函数的函数名
task.add_done_callback(callback_func)
loop.run_until_complete(task)

高性能异步爬虫(二)

 

   总之,协程对象c最后需要注册到事件循环对象loop中,程序才会执行,对于绑定回调来说,执行到最后一句,c注册到了loop中,然后开始执行loop,也就是task,task一被执行,c就会被执行,此时就会先输出执行c后的结果,即函数request()的两条打印语句,然后在执行绑定到task的回调函数,输出task封装的c对应的函数的返回值,即request()的返回值url。

  • async:定义一个协程。
  • await:用来挂起阻塞方法的执行。

  但是,以上内容是单任务的,只有一个协程对象,封装到了一个任务对象中,将这一个任务对象注册到事件循环中,而在多数情况下,我们需要往事件循环对象中注册多个任务,那么就是下面的内容------多任务异步协程:

# -*- coding:utf-8 -*-
# @Time : 2022/1/21 0021 16:51
# @Author : Tzy0425
# @File : 多任务异步协程.py

import asyncio
import time

async def request(url):
    print('正在下载...',url)
    # 通过设置每个url运行后的休眠时间来直观的体会异步协程的速度
    # 异步协程中不能出现同步模块相关代码,否则就失效,比如time.sleep(2)
    # 当在asynico中遇到阻塞操作必须进行手动挂起
    await asyncio.sleep(2)
    print('下载完毕',url)

start = time.time()
urls = [
    'www.baidu.com',
    'www.douyu.com',
    'www.huya.com'
]

# 任务列表,存放多个任务
stask = []

for url in urls:
    c = request(url)
    task = asyncio.ensure_future(c)
    stask.append(task)

# 实例化一个事件循环对象
loop = asyncio.get_event_loop()

# 需要将协程对象c封装到loop中
# 需要将任务列表封装到wait中
loop.run_until_complete(asyncio.wait(stask))

end = time.time()
print('运行时间为:',(end-start))

高性能异步爬虫(二)

 

上一篇:celery的分布式任务


下一篇:63 监控与管理