python--IO模块

2021-09-01 19:12:02

IO模块

一 IO模型分为：

1 阻塞IO （accept recv）

2 非阻塞IO

3 IO多路复用（监听多个链接）

4 异步IO

5 驱动信号模型（不经常使用）

1 阻塞IO (blocking IO)

特点：全程阻塞（进程不能干其他的事儿）

当用户进程调用了recvfrom这个系统调用，kernel就开始了IO的第一个阶段：准备数据。对于network io来说，很多时候数据在一开始还没有到达，这个时候kernel就要等待足够的数据到来，而在用户进程这边，整个进程会被阻塞。

当kernel直等到数据准备好了，他就会将数据从kernel中拷贝到用户内存，然后kernel返回结果，用户进程才解除block的状态，重新运行起来。

2 非阻塞IO（non-blocking IO）

特点：发送多次系统调用

优点：wait for data时无阻塞

缺点：多次系统调用，消耗，不能第一时间拿取数据

两个阶段：wait for data非阻塞

cope data是阻塞的

注意：在网络IO时候，非阻塞IO也会进行recvfrom系统调用，检查数据是否准备好，与阻塞IO不一样，”非阻塞将大的整片时间的阻塞分成N多的小的阻塞，所以进程不断地有机会’被CPU光顾’”。即每次recvfrom系统调用之间，cpu的权限还在进程手中，这段时间可以做其他事情。

也就是说非阻塞的recvfrom系统调用，进程并没有被阻塞，内核马上返回给进程，如果数据还没有准备好，此时会返回一个error。进程在返回之后，可以干点别的事情，然后在发起recvfrom系统调用，重复上面的过程。不断重复进行recvfrom系统调用，这个过程被称为轮询，轮询检查内核数据，直到数据被准备好，再拷贝数据到进程，进行数据处理，需要注意，拷贝数据整个过程，进程仍然是属于阻塞的状态。

#服务端

import socket

sk=socket.socket()

sk.bind(("127.0.0.1",8000))

sk.listen(5)

sk.setblocking(False)

while True:

    try:

        print("waiting.........")

        conn,addr=sk.accept()

        print("++++",conn)

        data=conn.recv(1024)

        print(data.decode("utf8"))

    except Exception as e:

        print(e)

        time.sleep(4)

#客户端

import time

import socket

sk=socket.socket()

sk.connect(("127.0.0.1",8000))

while True:

    data=input(">>")

    sk.send(data.encode("utf-8"))

    time.sleep(2)

执行结果：

waiting.........

[WinError 10035] 无法立即完成一个非阻止性套接字操作。

waiting.........

[WinError 10035] 无法立即完成一个非阻止性套接字操作。

waiting.........

[WinError 10035] 无法立即完成一个非阻止性套接字操作。

waiting.........

3 IO多路复用（IO multiplexing）

特点：1全程阻塞（wait for data, copy data）

2 能监听多个文件描述符

实现并发

select, epoll，poll

select发起系统调用（监听多个连接实行并发）

对于文件描述符（套接字对象）：

1 是一个非零整数，不会变

2 收发数据的时候，对于接收端而言，数据先到内核空间，然后通过copy到用户空间，同时，内核空间数据清空。

IO multiplexing这个词可能有点陌生，但是如果说select，epoll，大概就都能明白了，有些地方也称这用IO方式为event driven IO。我们知道，select/epoll的好处就在于单个process就可以同时处理多个网络连接的IO，它的基本原理就是selet/epoll这个function会不断的轮询所有的socket，当某个socket有数据到达了，就通知用户进程。

当用户进程调用了select，那么整个进程会被block，而同时，kernel会”监视”所有select负责的socket，当任何一个socket中的数据准备好了，select就回返回。这个时候用户进程再调用read操作，将数据从kernel拷贝到用户进程。

需要使用两个system call（select和recvfrom），而blocking IO只调用了一个system call（recvfrom）。

注意1：select函数返回结果中如果有文件可读了，那么进程就可以通过调用accept()或recv()

来让kernel将位于内核中准备到数据copy到用户区。

注意2：select的优势在于可以处理多个连接，不适用于单个连接

#服务端

import socket

import select

sock=socket.socket()

sock.bind(("127.0.0.1",8000))

sock.listen(5)

# sock.setblocking(False)

inputs=[sock,]

while True:

    r,w,e=select.select(inputs,[],[]) #监听有变化的套接字，

    for obj in r:

        if obj==sock:

            conn,addr=obj.accept()

            inputs.append(conn)  #l=[sock,conn]

        else:

            data=obj.recv(1024)

            print(data.decode("utf8"))

            send_data=input(">>>")

            obj.send(send_data.encode("utf8"))

#客户端

import socket

sock=socket.socket()

sock.connect(("127.0.0.1",8000))

while True:

    data=input(">>>")

    sock.send(data.encode("utf8"))

    res=sock.recv(1024)

    print(res.decode("utf8"))

sock.close()

4 异步IO（Asynchronous I/O）

特点：全程无阻塞

用户进程发起read操作之后，立刻就可以开始去做其他的事儿，从另一方面，从kernel的角度，当它收到一个asynchronous read 之后，首先它会立刻返回，所以不会对用户进程产生任何block，然后，kernel会数据准备完成，然后将数据拷贝到用户内存，当着一切都完成之后，kernel就给用户进程发送一个signal，告诉它read操作完成了。

同步阻塞：包括（阻塞IO，非阻塞IO，IO多路复用）

异步阻塞：无阻塞包括（异步IO）

各个IO Model的比较如果所示：

码农公寓