Java I/O
一:Unix I/O模型
Linux的内核将所有外部设备都看做一个文件来操作,对一个文件的读写操作会调用内核提供的系统命令,返回一个file descriptor (fd,文件描述符)。而对一个 socket 的读写也会有相应的描述符,称之为 socket fd (socket描述符)。描述符就是一个数字,它指向内核中的一个结构体(文件路径,数据区等一些属性)。
根据UNIX网络编程对I/O模型的分类,UNIX提供了5种 I/O 模型:阻塞I/O模型、非阻塞式I/O模型、I/O复用模型、信号驱动I/O模型、异步I/O模型。
二:什么是 Sockets
应用层通过传输层进行数据通信时,TCP和UDP会遇到同时为多个应用程序进程提供并发服务的问题。多个TCP连接或多个应用程序进程可能需要 通过同一个TCP协议端口传输数据。为了区别不同的应用程序进程和连接,许多计算机操作系统为应用程序与TCP/IP协议交互提供了称为套接字 (Socket)的接口,区分不同应用程序进程间的网络通信和连接。生成套接字,主要有3个参数:通信的目的IP地址、使用的传输 层协议(TCP或UDP)和使用的端口号。Socket原意是"插座"。通过将这3个参数结合起来,与一个 “插座” Socket绑定,应用层就可以和传输 层通过套接字接口,区分来自不同应用程序进程或网络连接的通信,实现数据传输的并发服务。
1、阻塞I/O模型
最常用的 I/O 模型就是阻塞 I/O 模型,缺省情况下,所有文件操作都是阻塞的。我们以套接字接口为例讲解此模型:在进程空间中调用 recvfrom ,其系统调用直到数据包到达且被复制到应用进程的缓冲区中或者发生错误时才返回,在此期间会一直等待,进程再从调用 recvfrom 开始到它返回的整段时间内都是被阻塞的,因此被称为阻塞 I/O 模型。
2、非阻塞式I/O模型
性能较阻塞 I/O 来说也没啥提升。
recvfrom 从应用层到达内核的时候,如果该缓冲区没有数据的话,就直接返回一个 EWOULDBLOCK 错误,一般都对非阻塞 I/O 模型进行轮询检查这个状态,看内核是不是有数据到来。
3、I/O复用模型
Linux提供 select/poll,进程通过将一个或多个 fd 传递给 select 或 poll 系统调用,阻塞在select操作上,这样 select/poll 可以帮我们侦测多个 fd 是否处于就绪状态(这个就是 I/O 复用的优势所在,可以同时处理多个文件)。select/poll 是顺序扫描 fd 是否就绪,而且支持的 fd 数量有限,因此它的使用受到了一些制约。Linux还提供了一个 epoll 系统调用,epoll 使用基于事件驱动方式代替顺序扫描,因此性能更高。当有 fd 就绪时,立即回调函数 callback 。I/O 复用模型的优势是,我们可以等待多个描述符就绪。
4、信号驱动I/O模型
首先开启套接口信号驱动 I/O 功能,并通过系统调用sigaction执行一个信号处理函数(此系统调用立即返回,进程继续工作,它是非阻塞的)。当数据准备就绪时,就为该进程生成一个 SIGIO 信号,通过信号回调通知应用程序调用 recvfrom 来读取数据,并通知主循环函数处理数据。
这种方式并不见得要比 I/O 多路复用性能要好,因为虽然 I/O 复用阻塞,但是它可以扫描多个文件描述符,如果再用 epoll 来优化优化,那么性能会很好的。信号驱动 I/O 虽然第一阶段是不阻塞的,但是它一次只能够处理一个文件描述符(处理能力有限)。
I/O 复用是用一个线程就能处理多个远程调用的访问,处理能力是比较强的。而信号驱动 I/O 要处理多个用户访问的话是要创建多个线程的。
5、异步I/O模型
告知内核启动某个操作,并让内核在整个操作完成后(包括将数据从内核复制到用户自己的缓冲区)通知我们。这种模型与信号驱动模型的主要区别是:信号驱动I/O由内核通知我们何时开始一个I/O操作;异步I/O模型由内核通知我们I/O操作何时已经完成。
两个阶段都不阻塞。他是直接告诉内核把数据一步到位的准备好放在用户缓冲区后再通知我。
但是并不是所有的操作系统都支持这种 I/O 模式,这种模式的使用是受限的。
6、五种I/O模型的比较
7、I/O多路复用技术
I/O多路复用技术通过把多个I/O的阻塞复用到同一个select的阻塞上,从而使得系统在单线程的情况下可以同时处理多个客户端请求。与传统的多线程/多进程模型比,I/O多路复用的最大优势是系统开销小,系统不需要创建新的额外的进程或者线程,也不需要维护这些进程和线程的运行,降低了系统的维
护工作量,节省了系统资源。目前支持I/O多路复用的系统调用有select、pselect、poll、epoll,在Linux网络编程过程中,很长一段时间都使用select做轮询和网络事件通知,然而select的一些固有缺陷导致了它的应用受到了很大的限制,最终Linux不得不在新的内核版本中寻找select的替代方案,最终选择了epoll。
为了克服select的缺点,epoll做了很多重大改进,主要有如下两点:
- 支持一个进程打开的socket描述符不受限制
select最大的缺陷就是单个进程所打开的FD是有一定限制的,它由FD_SETSIZE设置,默认值是1024。对于那些需要支持上万个TCP连接的大型服务器来说显然太少了。epoll并没有这个限制,它所支持的 FD 上限是操作系统的最大文件句柄数,这个数字远远大于1024。例如,在1GB内存的机器上大约是10万个句柄左右。 - I/O效率不会随着FD数目的增加而线性下降传统的select/poll另一个致命弱点就是当你拥有一个很大的socket集合,由于网络延时或者链路空闲,任一时刻只有少部分的socket是“活跃”的,但是select/poll每次调用都会线性扫描全部的集合,导致效率呈现线性下降。epoll不存在这个问题,它只会对“活跃”的socket进行操作。这是因为在内核实现中epoll是根据每个fd上面的callback函数实现的,那么,只有“活跃”的socket才会主动的去调用callback函数,其他空闲状态socket则不会。
三:Java I/O模型
1、BIO
在1.4之前,Java只提供了一种IO模型,即阻塞式IO模型(BIO)。就是IO流
所以在JDK1.4之前,如果有网络编程方面的业务,一般都不会选择Java,因为它的IO是阻塞的,而更偏向于C++。
红色的是低级流,蓝色的是比较高级的流。
2、NIO
新的输入/输出(NIO)库是在JDK 1.4中引入的。NIO弥补了原来同步阻塞I/O的不足,它在标准Java代码中提供了高速的、面向块的I/O。通过定义包含数据的类,以及通过以块的形式处理这些数据。NIO包含三个核心的组件:Buffer(缓冲区)、Channel(通道)、Selector(多路复用器)。