Java NIO的理解

2022-09-13 23:12:19

概述

Java的NIO是一种的新的Java io机制。这里的NIO就是New IO，而不是Not blocking(非阻塞i)的IO。与传统的Java IO不一样的是，NIO提供了非阻塞状态的IO操作，但是，并不是所有的NIO都是可以非阻塞的，比如NIO中文件流的相关API就是阻塞状态的。

可以认为JavaNIO的操作，只需一个线程，就可以具备处理多个数据流的能力。这点类似Linux系统上的多路IO复用技术，比如redis的实现就是利用了linux的该技术。

Java NIO 由以下几个核心部分组成：

  • Buffers
  • Channels
  • Selectors

这三个组件是Java NIO最核心的组件。虽然Java NIO 中除此之外还有很多类和组件，其它组件，如Pipe和FileLock，只不过是与三个核心组件共同使用的工具类。所以先来好好研究下这三个核心组件。

Buffer

Buffer用于和NIO通道进行交互，即Buffer的数据从channel中来，也可以到channel中去。

Buffer其实就可以看作是一块内存，Java NIO其实就是封装了该内存，然后提供了Buffer的各种API操作。

比如：既然是内存，那么肯定就需要指定的大小来分配内存：

//表示分配了一块32字节代下的Buffer
ByteBuffer byteBuffer = ByteBuffer.allocate(32);

ByteBuffer只是Java NIO中Buffer的一种类型，可以认为这块内存用来放字节的类型。其他的Buffer类型还有: （根据类名，顾名思义，就能知道其作用）

  • ByteBuffer
  • MappedByteBuffer
  • CharBuffer
  • DoubleBuffer
  • FloatBuffer
  • IntBuffer
  • LongBuffer
  • ShortBuffer

buffer的读写

Buffer的独写一般遵循如下四个步骤：

  1. 写入数据到Buffer
  2. 调用flip()方法
  3. 从Buffer中读取数据
  4. 调用clear()方法或者compact()方法

当向buffer写入数据时，buffer会记录下写了多少数据。一旦要读取数据，需要通过flip()方法将Buffer从写模式切换到读模式。在读模式下，可以读取之前写入到buffer的所有数据。

比如：

ByteBuffer byteBuffer = ByteBuffer.allocate(32);//指定内存大小
byteBuffer.put("abc".getBytes()); //使用put方法往Buffer里放数据
byteBuffer.flip(); //filp切换读模式
//读取buffer的数据，
System.out.println(new String(byteBuffer.array()));
//把这块内存清空
byteBuffer.clear();

如上，最简单的写入读取操作，当然实际的buffer都是跟channel进行交互。

capacity,position和limit

在上面的方法中，可以看到，在进行读之前，调用了flip()方法。flip方法将Buffer从写模式切换到读模式。调用flip()方法会将position设回0，并将limit设置成之前position的值。

换句话说，position现在用于标记读的位置，limit表示之前写进了多少个byte、char等 —— 现在能读取多少个byte、char等。

buffer三个属性主要属性：

  • position ： 表示数据写、读到哪个位置了
  • limit ：表示已经能写、能读了多少数据
  • capacity ：表示最多能写多少数据。也就是Buffer的容量大小

读写模式的说明可见下图：
Java NIO的理解

capacity是对于buffer来说是一个固定值，你只能往里写capacity个byte、long，char等类型。一旦Buffer满了，需要将其清空（通过读数据或者清除数据）才能继续写数据往里写数据。

  • 写模式下：
    limit和capacity的值是一样的，每当数据写入时，position就移动到下一个可插入数据的单元中。
  • 读模式下：
    写模式需要手动调用flip方法后才可以进行读。此时limit就是读模式下position的大小，position就重置为0，当从Buffer的position处读取数据时，position向前移动到下一个可读的位置。

Channel

Channel（通道）类似流，但又有些不同：

  • 既可以从通道中读取数据，又可以写数据到通道。但流的读写通常是单向的。
  • 通道可以异步地读写。
  • 通道中的数据总是要先读到一个Buffer，或者总是要从一个Buffer中写入。

Channel的实现

这些是Java NIO中最重要的通道的实现：

  • FileChannel 从文件中读写数据
  • DatagramChannel 能通过UDP读写网络中的数据。
  • SocketChannel 能通过TCP读写网络中的数据。
  • ServerSocketChannel可以监听新进来的TCP连接，像Web服务器那样。对每一个新进来的连接都会创建一个SocketChannel。

比如使用FileChannel将Buffer里的数据写入到文件中去:

@Test
public void testFileChannel() throws IOException {
    String str2Write = "hello world"; //要将这个字符串
    String targetFilePath = "D:\\my-target.log"; //要写入到这个文件
    FileOutputStream fileOutputStream = new FileOutputStream(targetFilePath);
    //通过文件流打开channel
    FileChannel fileChannel = fileOutputStream.getChannel();
    
    //字节Buffer，缓存要写入的字符串
    ByteBuffer byteBuffer = ByteBuffer.allocate(1024);
    byteBuffer.put(str2Write.getBytes());
    
    byteBuffer.flip(); //开启读模式
    int write = fileChannel.write(byteBuffer); //将buffer的数据写入channel中，也就是写入到文件里
    System.out.println(write);
    fileChannel.close();
    fileOutputStream.close();

}

上述是Channel与Buffer的交互，也可以直接Channel跟Channel交互，直接将一个Channel的数据全部写到另一个Channel中去，通过transferFrom或transferTo方法，比如：

@Test
public void testtransfer() throws IOException {
    RandomAccessFile from = new RandomAccessFile("D:\\mbb-target.log", "rw");
    RandomAccessFile to = new RandomAccessFile("D:\\mbb-target-new.log", "rw");
    FileChannel fromChannel = from.getChannel();
    FileChannel toChannel = to.getChannel();
    fromChannel.transferTo(0,fromChannel.size(),toChannel);
}

Selector

Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程通过Selector可以管理多个channel，从而管理多个网络连接。

Java NIO的理解

基本使用

直接使用Selector.open()方法即可创建一个Selector：

Selector selector = Selector.open();

Selector创建后会一直保持打开的状态，除非调用其close方法。

为了将Channel和Selector配合使用，必须将channel注册到selector上。通过SelectableChannel.register()方法来实现，如下：

channel.configureBlocking(false);
SelectionKey key = channel.register(selector,Selectionkey.OP_READ);

与Selector一起使用时，Channel必须处于非阻塞模式下。这意味着不能将FileChannel与Selector一起使用，因为FileChannel不能切换到非阻塞模式。而套接字通道都可以。

注意register()方法的第二个参数。这是一个“interest集合”，意思是在通过Selector监听Channel时对什么事件感兴趣。可以监听四种不同类型的事件：

  • Connect
  • Accept
  • Read
  • Write
    通道触发了一个事件意思是该事件已经就绪。所以，某个channel成功连接到另一个服务器称为“连接就绪”。一个server socket channel准备好接收新进入的连接称为“接收就绪”。一个有数据可读的通道可以说是“读就绪”。等待写数据的通道可以说是“写就绪”。

这四种事件用SelectionKey的四个常量来表示：

SelectionKey.OP_CONNECT
SelectionKey.OP_ACCEPT
SelectionKey.OP_READ
SelectionKey.OP_WRITE
如果对不止一种事件感兴趣，那么可以用“位或”操作符将常量连接起来，如下：

int interestSet = SelectionKey.OP_READ | SelectionKey.OP_WRITE;

SelectionKey

在上面，当向Selector注册Channel时，register()方法会返回一个SelectionKey对象。这个对象包含了一些你感兴趣的属性：

  • interest集合: 是你所选择的感兴趣的事件集合
  • ready集合 ： 是通道已经准备就绪的操作的集合
  • Channel
  • Selector
  • attachment 附加的对象（可选）:可以将一个对象或者更多信息附着到SelectionKey上，这样就能方便的识别某个给定的通道
    下面我会描述这些属性。

通过Selector选择通道

一旦向Selector注册了一或多个通道，就可以调用几个重载的select()方法。这些方法返回你所感兴趣的事件（如连接、接受、读或写）已经准备就绪的那些通道。换句话说，如果你对“读就绪”的通道感兴趣，select()方法会返回读事件已经就绪的那些通道。

下面是select()方法：

int select()
int select(long timeout)
int selectNow()
select()阻塞到至少有一个通道在你注册的事件上就绪了。

select(long timeout)和select()一样，除了最长会阻塞timeout毫秒(参数)。

selectNow()不会阻塞，不管什么通道就绪都立刻返回（译者注：此方法执行非阻塞的选择操作。如果自从前一次选择操作后，没有通道变成可选择的，则此方法直接返回零。）。

select()方法返回的int值表示有多少通道已经就绪。亦即，自上次调用select()方法后有多少通道变成就绪状态。如果调用select()方法，因为有一个通道变成就绪状态，返回了1，若再次调用select()方法，如果另一个通道就绪了，它会再次返回1。如果对第一个就绪的channel没有做任何操作，现在就有两个就绪的通道，但在每次select()方法调用之间，只有一个通道就绪了。

selectedKeys()

一旦调用了select()方法，并且返回值表明有一个或更多个通道就绪了，然后可以通过调用selector的selectedKeys()方法，访问“已选择键集（selected key set）”中的就绪通道。如下所示：

Set selectedKeys = selector.selectedKeys();
当像Selector注册Channel时，Channel.register()方法会返回一个SelectionKey 对象。这个对象代表了注册到该Selector的通道。可以通过SelectionKey的selectedKeySet()方法访问这些对象。

可以遍历这个已选择的键集合来访问就绪的通道。如下：

    Set selectedKeys = selector.selectedKeys();
    Iterator keyIterator = selectedKeys.iterator();
    while(keyIterator.hasNext()) {
        SelectionKey key = keyIterator.next();
        if(key.isAcceptable()) {
            // a connection was accepted by a ServerSocketChannel.
        } else if (key.isConnectable()) {
            // a connection was established with a remote server.
        } else if (key.isReadable()) {
            // a channel is ready for reading
        } else if (key.isWritable()) {
            // a channel is ready for writing
        }
        keyIterator.remove();
    }

这个循环遍历已选择键集中的每个键，并检测各个键所对应的通道的就绪事件。

注意每次迭代末尾的keyIterator.remove()调用。Selector不会自己从已选择键集中移除SelectionKey实例。必须在处理完通道时自己移除。下次该通道变成就绪时，Selector会再次将其放入已选择键集中。

SelectionKey.channel()方法返回的通道需要转型成你要处理的类型，如ServerSocketChannel或SocketChannel等。

wakeUp()
某个线程调用select()方法后阻塞了，即使没有通道已经就绪，也有办法让其从select()方法返回。只要让其它线程在第一个线程调用select()方法的那个对象上调用Selector.wakeup()方法即可。阻塞在select()方法上的线程会立马返回。

如果有其它线程调用了wakeup()方法，但当前没有线程阻塞在select()方法上，下个调用select()方法的线程会立即“醒来（wake up）”。

一个简单的cs实现

首先，搭建一个服务器，负责向接收客户端请求，返回数据。

@Test
public void test_server() throws IOException, InterruptedException {
    Selector selector = Selector.open();

    ServerSocketChannel channel = ServerSocketChannel.open();
    //指定服务端启动的端口
    channel.socket().bind(new InetSocketAddress(9999));
    channel.configureBlocking(false);//非阻塞i
    channel.register(selector,SelectionKey.OP_ACCEPT);

    while (true){
        int select = selector.select();
        if (select==0) continue;

        Set<SelectionKey> set = selector.selectedKeys();
        Iterator<SelectionKey> iterator = set.iterator();
        while (iterator.hasNext()){
            SelectionKey key = iterator.next();
            if (key.isAcceptable()){
                //此时是ServerSocketChannel，直接获取客户端channel
                SocketChannel socketChannel = channel.accept();
                socketChannel.configureBlocking(false);
                //设置客户端的channel 为write
                socketChannel.register(selector,SelectionKey.OP_WRITE);
            } else if (key.isReadable()){

            }else  if (key.isWritable()){
            //接收SocketChannel的write请求，开始给客户端写数据
                SocketChannel selectableChannel = (SocketChannel) key.channel();
                ByteBuffer byteBuffer = ByteBuffer.allocate(32);
                byteBuffer.put("hello world!!!".getBytes());
                byteBuffer.flip();
                selectableChannel.write(byteBuffer);
                selectableChannel.close();
            }else if (key.isConnectable()){

            }
            iterator.remove();
        }
        Thread.sleep(1000);
    }

}

启动服务端。

然后再来搭建一个客户端，读取从服务器传来的数据。

@Test
public void test_client() throws IOException {
    SocketChannel socketChannel = SocketChannel.open();
    socketChannel.connect(new InetSocketAddress(9999));
    ByteBuffer byteBuffer = ByteBuffer.allocate(32);
    socketChannel.read(byteBuffer);
    byteBuffer.flip();
    System.out.println("from server data is :"+new String(byteBuffer.array()));
}

最后运行客户端，就可以看到

from server data is :hello world!!!   

参考

《Java 与 NIO》http://topjava.cn/article/1389525243600703488

jenkov.《Java NIO》:(http://tutorials.jenkov.com/java-nio/index.html

极客时间.《 高性能IO模型：为什么单线程Redis能那么快？》:https://time.geekbang.org/column/article/270474

上一篇：网络编程IO多路复用-服务端代码


下一篇：RPC框架设计----NIO编程Selector (选择器)