Linux/UNIX高级I/O

高级I/O

非阻塞IO

非阻塞I/O使我们可以调用open、read和write这样的I/O操作,并使这些操作不会永久阻塞。如果这种操作不能完成,则调用立即出错返回,表示该操作如继续执行将阻塞。

对于一个给定的描述符有两种方法对其指定非阻塞I/O:

1)      如果调用open获得描述符,则可指定O_NONBLOCK标志

2)      对于已打开的一个描述符,则可调用fcntl,由该函数打开O_NONBLOCK文件状态标志。

记录锁

记录锁的功能是:当一个进程正在读或修改文件的某个部分时,它可以阻止其他进程修改同一文件区。锁定的是文件中的一个区域。

记录锁函数fcntl:

#include<unistd.h>

#include<fcntl.h>

int fcntl(intfd, int cmd, ... /* arg */ );

对于记录锁,cmd是F_GETLK、F_SETLK或F_SETLKW。其中第三个参数arg是一个flock结果指针,其结构组成如下:

struct flock {

               ...

               short l_type;    /* Type of lock: F_RDLCK,

                                   F_WRLCK,F_UNLCK */

               short l_whence;  /* How to interpret l_start:

                                   SEEK_SET,SEEK_CUR, SEEK_END */

               off_t l_start;   /* Starting offset for lock */

               off_t l_len;     /* Number of bytes to lock */

               pid_t l_pid;     /* PID of process blocking our lock

                                   (F_GETLKonly) */

               ...

           };

flock结果说明如下:

所希望的所类型:由l_type决定, 可为F_RDLCK(共享锁)、F_WRLCK(独占性写锁)或F_UNLCK(解锁一个区域)。

要加锁或解锁区域的起始字节偏移量,这由l_whence和l_start决定。

区域字节:由l_len决定。若l_len为0,则表示锁的区域从起点开始直至最大可能偏移量为止。

具有能阻塞当前进程的锁,其持有进程的ID存放在l_pid中(由F_GETLK情况下返回)

 

共享读锁和独占写锁:多个进程在一个给定的字节上可以有一把共享的读锁,但是在一个给定字节上只能有一个进程独用一把锁。

共享读锁和独占写锁概念是针对不同进程提出锁的请求,不适用于但个进程提出多个锁请求。当一个进程对一个文件区间已经有了一把锁,后来该进程有企图在同一文件区间再加上一把锁,那么新锁将替换老锁。

加读锁时,该描述符必须是读打开;加写锁时,必须是写的打开。

以下说明fcntl函数的三种命令:

F_GETLK:判断由arg中所描述的锁是否会被另外一把锁排斥(阻塞)。如果存在一把锁,他阻止创建由arg所描述的锁,则把该现存锁的信息写到arg指向的结构中。如果不存这种情况,则除了l_type设置为F_UNLCK之外,arg所指向结构中的其他信息保持不变。

F_SETLK:设置由arg所描述的锁。如果试图建立一把读锁或写锁,但实际情况不允许建立锁(比如已经有写锁),则fcntl出错返回。

F_SETLKW:它是F_SETLK的阻塞版本。

 

锁的隐含继承和释放:

关于记录锁的自动继承和释放有三条规则:

1.             锁与进程文件两方面有关:第一点很明显,当一个进程终止时,它所建立的锁全部释放;第二点指的是任何时候关闭一个描述符时,则该进程通过这一文件描述符引用的文件上的任何一把锁都被释放。

2.             由fork产生的子进程不能继承父进程所设置锁。这意味着,若一个进程得到一把锁,然后调用fork,那么对于父进程获得的锁而言,子进程被视为另一个进程,对于继承过来的任一描述符,子进程需要调用fcntl才能获得它自己的锁。这与锁的作用相一致,锁的作用是阻止多个进程同时写同一个文件。如果子进程继承父进程的锁,则父子进程就可以同时写同一个文件。

3.             在执行exec后,新程序可以继承原执行程序的锁。除非队以文件描述符设置了close-on-exec标志,那么执行exec时,将释放锁。

 

锁的数据结构实现

         考虑一个进程,它执行下列语句:

         fd1= open(pathname, … );

         write_lock(fd1,0, SEEK_SET, 1);

         if((pid== fork()) > 0){

                   fd2= dup(fd1);

                   fd3= open(pathname, …);

}else if (pid ==0){

         read_lock(fd1,1,SEEK_SET,1)

}

其中write_lock和read_lock调用fcntl的加锁实现。

下图显示了父子进程暂停后的数据结构情况:

Linux/UNIX高级I/O

                 有了记录锁之后,在原来的数据结构上增加了lockf结构,他们由i节点开始相互连接起。注意,每个lock结构说明了一个给定进程的一个加锁区域(有偏移量和长度定义)。图中显示了两个lockf结构,一个是由父进程调用write_lock形成的,另一个则由子进程调用read_lock形成的。每一个结构都包含了相应的进程ID。在父进程中,关闭fd1、fd2和fd3中任何一个都将释放由父进程设置的写锁。

建议性锁和强制性锁

建议性锁是这样规定的:每个使用上锁文件的进程都要检查是否有锁存在,当然还得尊重已有的锁。内核和系统总体上都坚持不使用建议性锁,它们依靠程序员遵守这个规定。(Linux默认是采用建议性锁)

强制性锁是由内核执行的。当文件被上锁来进行写入操作时,在锁定该文件的进程释放该锁之前,内核会阻止任何对该文件的读或写访问,每次读或写访问都得检查锁是否存在。

例子:

例1,我有几个进程(不一定有亲缘关系)都通过fctnl机制来操作文件,这个就叫一致的方法。
但是,如果同时,又有个流氓进程,管它3721,冲上去,open, write。这时候那几个进程fcntl对这种方式无能为力,这样就叫不一致。文件最后的状态就不定了。正因为这种锁约束不了其它的访问方式,所以叫建议行锁。强制性锁需要内核支持的,对read, write, open都会检查锁。

例2,所谓建议性锁就是假定人们都会遵守某些规则去干一件事。例如,人与车看到红灯都会停,而看到绿灯才会继续走,我们可以称红绿等为建议锁。但这只是一种规则而已,你并不防止某些人强闯红灯。而强制性锁是你想闯红灯也闯不了。

STREAMS

I/O多路转接

I/O多路转接:先构造一张有关描述符的列表,然后调用一个函数,知道这些描述符中的一个已准备好进行I/O时,该函数返回。在返回时,它告诉进程哪些描述符已准备好可以进行I/O。

poll、pselect和select这三个函数使我们能够执行I/O多路转接。

select和pselect函数

         #include<sys/select.h>

         int select(intnfds, fd_set *readfds, fd_set *writefds,

         fd_set *exceptfds, structtimeval *timeout);

         select函数使我们可以执行I/O多路转接。

         最后一个参数,它指定愿意等待的时间:

         structtimeval {

               long    tv_sec;         /* seconds */

               long    tv_usec;        /* microseconds */

          };

         由三种情况:

         timeout== NULL:永远等待。如果捕捉到一个信号则中断此无限期等待。当所指定的描述符中的一个已准备好或捕捉到的一个信号则返回。如果捕捉到一个信号,则select返回-1,errno设置为EINTR。

         tvptr->tv_sec== 0 && tvptr->tv_usec == 0:完全不等待。测试所有指定的描述符并立即返回。这是得到多个描述符的状态而不阻塞select函数的轮询方法。

         tvptr->tv_sec!= 0 || tvptr->tv_usec != 0:等待指定的秒数和微妙数。当指定的描述符之一已准备好,或当指定的时间值已超过时立即返回。如果在超时时还没有一个描述符准备好,则返回值是0。与第一种情况一样,这种等待可被捕捉到的信号中断。

         中间的三个参数readfds,writefds和exceptfds是指向描述符集的指针。这三个描述符集说明了我们关心的可读、可写或处于异常条件的各个描述符。每个描述符集存放在一个fd_set数据类型中。对fd_set数据类型而进行的处理是:分配一个这种类型的变量;将这种类型的变量赋予同类型的另一个变量;或对于这种类型的变量使用下列四个函数的一个。

#include <sys/types.h>   

void FD_CLR(int fd, fd_set *set);     //将一个指定位清除

int  FD_ISSET(int fd, fd_set*set); //测试一指定为是否设置。若fd存在,返回非0

                                                                 //值;否则返回0。

void FD_SET(int fd, fd_set *set);     //设置一个fd_set变量的指定位

void FD_ZERO(fd_set *set);              //讲一个指定的fd_set变量的所有位设置为0

测试程序如下:

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>
#include <sys/types.h>
#include <sys/select.h>
 
int main()
{
   fd_set rfds;
   struct timeval tv;
   int retval;
   char buf[1024];
   for(;;)
    {
       FD_ZERO(&rfds);
       FD_SET(STDIN_FILENO, &rfds);
       /* Wait up to five seconds. */
       tv.tv_sec = 5;
       tv.tv_usec = 0;
       retval = select(1, &rfds, NULL, NULL, &tv);
       /* Don‘t rely on the value of tv now! */
       if (retval)
       {
            printf("Data is availablenow.\n");
           if(FD_ISSET(STDIN_FILENO, &rfds))
           {
                read(STDIN_FILENO,buf,1024);
                printf("Read buf is:%s\n",buf);
           }
       }
       else
           printf("No data within five seconds.\n");
    }
   exit(0);
}


执行结果

hello

Data is available now.

Read buf is: hello

 

No data within five seconds.

No data within five seconds.

world

Data is available now.

Read buf is: world

 

No data within five seconds.

pselect与select功能相同,但其超时值用timespec结构(秒和纳秒)指定。可选择信号屏蔽字。超时值被声明为const。

#include <sys/select.h>

int pselect(int nfds, fd_set *readfds,fd_set *writefds,fd_set *exceptfds,

const struct timespec*timeout,const sigset_t *sigmask);

poll函数

poll函数类似于select,但是其程序接口不同。

#include <poll.h>

int poll(struct pollfd *fds, nfds_t nfds,int timeout);

与select函数不同,poll不是为每个状态构造个描述符集,而是构造一个pollfd结果数组。结构定义如下:

struct pollfd {

               int   fd;        /* file descriptor */

               short events;     /* requested events */

               short revents;    /* returned events */

          };

fds数组中元素个数由nfds指定。

timeout == -1:永远等待

timeout == 0:不等待

timeout > 0:等待timeout毫秒

readv和writev函数

这两个函数用于在一次函数调用中读、写多个非连续缓冲区。

#include <sys/uio.h>

ssize_t readv(int fd, const struct iovec*iov, int iovcnt);

ssize_t writev(int fd, const struct iovec*iov, int iovcnt);

这两个函数的第二个参数是指向iovec结果数组的一个指针:

struct iovec {

               void  *iov_base;   /* Starting address */

               size_t iov_len;     /* Number of bytes to transfer */

          };

iovec结构第一个元素指向缓冲区起始地址,第二个元素指定长度。iovec数组元素个数由iovcnt指定。

writev以顺序iovec[0],iovec[1], iovec[2]从缓冲区中聚集输出数据,返回总的输出字节数。

readv同理。

存储映射I/O

存储映射I/O使磁盘文件与存储空间中的一个缓冲区相映射。于是当从缓冲区中取数据,就相当于读文件中的相应字节。与此类似,将数据存入缓冲区,则相应字节就自动写入文件。这样就可以在不使用read和write的情况下执行I/O。

为实现这种功能,应首先告诉内核将一个给定的文件映射到一个存储区域中。这是由mmap函数时实现的。munmap可以去除映射关系。

#include<sys/mman.h>

void *mmap(void*addr, size_t length, int prot, int flags,

                  int fd, off_t offset);

int munmap(void*addr, size_t length);

其中addr参数用于指定映射存储区的起始地址。通常设置为0,表示由系统选择该映射区的起始地址。此函数的返回地址是该映射区的其实地址。

fd指定要被映射文件的描述符。在映射该文件到一个地址空间之前,先要打开该文件。len是映射的字节数。off是要映射字节在文件中的起始偏移量。

prot参数说明对映射区的保护要求。可以为PROT_NONE,或者PROT_READ、PROT_WRITE、PROT_EXEC任意组合的按位或。对指定映射存储区的保护要求不能超过文件open模式访问权限。

flag:可设为

MAP_FIXED:返回值必须等于addr

MAP_SHARED:这一标志说明本进程对映射区所进行的存储操纵的配置。指定存储操作修改映射文件。

MAP_PRIVATE:本标志说明,对映射区的存储操作导致创建该映射文件的一个私有副本。所有后来对该映射区的引用都是引用该副本,而不是原文件。

 

调用mprotect可以更改一个现存映射存储区的权限。

#include<sys/mman.h>

intmprotect(const void *addr, size_t len, int prot);

 

如果共享存储映射区中的页已被修改,可以调用msync将该页冲洗到被映射的文件中。

#include<sys/mman.h>

int msync(void*addr, size_t length, int flags);

如下程序是使用mmap的例子:

#include <stdio.h>
#include <stdlib.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/stat.h>
 
int main(int argc, char *argv[])
{
   int         fdin, fdout;
   void        *src, *dst;
   struct stat statbuf;
 
   if (argc != 3)
       printf("usage: %s <fromfile> <tofile>", argv[0]);
 
   if ((fdin = open(argv[1], O_RDONLY)) < 0)
       printf("can‘t open %s for reading", argv[1]);
 
   if ((fdout = open(argv[2], O_RDWR | O_CREAT | O_TRUNC,
     S_IRUSR | S_IWUSR | S_IRGRP | S_IROTH)) < 0)
       printf("can‘t creat %s for writing", argv[2]);
if (fstat(fdin,&statbuf) < 0)  /* need size ofinput file */
       printf("fstat error");
 
    /*set size of output file */
   if (lseek(fdout, statbuf.st_size - 1, SEEK_SET) == -1)
       printf("lseek error");
   if (write(fdout, "", 1) != 1)
       printf("write error");
 
   if ((src = mmap(0, statbuf.st_size, PROT_READ, MAP_SHARED,
     fdin, 0)) == MAP_FAILED)
       printf("mmap error for input");
 
   if ((dst = mmap(0, statbuf.st_size, PROT_READ | PROT_WRITE,
     MAP_SHARED, fdout, 0)) == MAP_FAILED)
       printf("mmap error for output");
 
   memcpy(dst, src, statbuf.st_size); /* does the file copy */
exit(0);
}


该程序完成了类似cp的功能。

 

Linux/UNIX高级I/O,布布扣,bubuko.com

Linux/UNIX高级I/O

上一篇:Photoshop制作多幅图片的略缩图


下一篇:Linux awk 使用用例