《Unix/Linux系统编程》第十二章学习笔记

2021-07-10 10:04:01

块设备I/O和缓冲区管理

块设备I/O缓冲区

由于与内存访问相比，磁盘I/O速度较慢，所以不希望在每次执行读写文件操作时都执行磁盘I/O。因此，大多数文件系统使用I/O缓冲来减少进出存储设备的物理I/O数量。合理设计的I/O缓冲方案可显著提高文件I/O效率并增加系统吞吐量。

I/O缓冲区原理：文件系统使用一系列I/O缓冲区作为块设备的缓冲内存。进程试图读取（dev、blk）标识的磁盘块时，它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。

  • 若该缓冲区存在并包含有效数据，只需从缓冲区中读取数据，无需再次访问从磁盘中读取数据。
  • 当某数据块被读入，该缓冲区将被保存在缓冲区缓存*任意进程对同一个块的下一次读/写请求使用。
  • 进程写入磁盘块时，首先获取一个分配给该块的缓冲区，然后将数据写入缓冲区，将缓冲区标记为脏，以延迟写入，并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据，可使用其满足后续读/写请求，而不会引起实际磁盘I/O。脏缓冲区只有在被重新分配到不同的块时才会写入磁盘。
BUFFER *bread(dev,blk) 
{
BUFFER *bp =» getblk(dev,blk)} // get a buffer for (dev,blk) if (bp data valid)
return bp;
bp->opcode = READ;	II issue READ operation
start_lo(bp):	// ntart I/O on device
wait for I/O completion
write_block(devf blk, data)
bwrite(BUFFER *bp)( bp->opcode = WRITE； start_io(bp); wait for I/O completion; brelse(bp); // release bp

BUFFER *bp = bread(dev,blk);	// read in the disk block first
write data to bp;
(synchronous write)? bwrite(bp) : dwrite(bp);

Unix I/O缓冲区管理算法

Unix缓冲区管理子系统组成

  • I/O缓冲区：内核中的一系列NBUF缓冲区用做缓冲区缓存。

​ 缓冲区结构体由两部分组成：用于缓冲区管理的缓冲头部分和用于数据块的数据部分。

  • 设备表：每个块设备用一个设备表结构表示。
struct devtab{
    u16 dev;
    BUFFER *dev_list;
    BUFFER *io_queue;
    devtab[NDEV];
}
  • 缓冲区初始化:系统启动时，所有I/O缓冲区都在空闲列表中，所有设备列表和I/O队列均为空。
  • 缓冲区列表：当缓冲区分配给（dev,blk）时，它会被插入设备表的dev_list中。如果缓冲区当前正在使用，则会将其标记为BUSY（繁忙）并从空闲列表中删除。繁忙缓冲区也可能会在设备表的I/O队列中。
  • 当缓冲区数量很少时，由于额外系统开销，散列实际上可能会增加执行时间。散列对缓冲区性能几乎没有任何影响。

Unix算法的缺点

  1. 效率低下：该算法依赖于重试循环，例如，释放缓冲区可能会唤醒两组进程：需要释放的缓冲区的进程，以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓冲区，所以，其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后，每个被唤醒的进程必须从头开始重新执行算法，因为所需的缓冲区可能已经存在。这会导致过多的进程切换。
  2. 缓存效果不可预知：在Unix算法中，每个释放的缓冲区都可被获取'如果缓冲区 由需要空闲缓冲区的进程获取，那么将会重新分配缓冲区，即使有些进程仍然需要当前的缓冲区。
  3. 可能会出现饥饿：Unix算法基于“*经济”原则，即每个进程都有尝试的机会，但不能保证成功，因此，可能会出现进程饥饿。
  4. 该算法使用只适用丁单处理器系统的休眠/唤醒操作。
    相关数据结构定义代码：
typdef struct buf{
struct buf *next_free;	//freelist pointer
struct buf *next_dev；	//dev_list pointer
int dev,blk；	//assigned disk block；
int opcode；	//READ|WRITE
int dirty;	//buffer data modified
int async;	//ASYNC write flag
int valid;	//buffer data valid
int busy;	//buffer is in use
int wanted；		some process needs this buffer
struct, semaphore lock=l ；	//buffer locking semaphore； value=L
struct semaphore iodone=0；	//for process to wait for I/O completion；
char buf[BLKSIZE];	//block data area
} BUFFER;
BUFFER buf[NBUF], *freelist; // NBUF buffers and free buffer list

PV算法——新I/O缓冲管理算法

使用PV来实现进程同步，而不是休眠/唤醒。信号量的优点：

1.计数信号量可用来表示可用资源数量；

2.多进程等待一个资源时，信号量上的V操作只会释放一个等待进程，该进程不必重试，因为它保证拥有资源；

BUFFER *getb1k(dev,blk)：
while(1){(1). P(free);
//get a free buffer first if (bp in dev_1ist){(2). if (bp not BUSY){
remove bp from freelist;P(bp);
// lock bp but does not wait
(3).return bp;
// bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);
// wait in bp queue
return bp;v
// bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);
// lock bp,no wait
(6).if(bp dirty){
awzite(bp);
// write bp out ASYNC,no wait
continue;
// continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-
// end of while(1)；
brelse(BUFFER *bp)，
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

使用信号量的缓冲区管理算法

假设有一个单处理器内核（一次运行一个进程）。使用计数信号量上的P/V来设计满足以下要求的新的缓冲区管理算法∶

（1）保证数据一致性。

（2）良好的缓存效果。

（3）高效率∶没有重试循环，没有不必要的进程"唤醒"。

（4）无死锁和饥饿。

PV算法

BUFFER *getb1k(dev,blk)：
while(1){(1). P(free);
//get a free buffer first if (bp in dev_1ist){(2). if (bp not BUSY){
remove bp from freelist;P(bp);
// lock bp but does not wait
(3).return bp;
// bp in cache but BUSY V(free);
// give up the free buffer
(4).P(bp);
// wait in bp queue
return bp;v
// bp not in cache,try to create a bp=(dev,blk)
(5).bp = frist buffer taken out of freelist;P(bp);
// lock bp,no wait
(6).if(bp dirty){
awzite(bp);
// write bp out ASYNC,no wait
continue;
// continue from (1)
(7).reassign bp to(dev,blk);1/ mark bp data invalid,not dir return bp;-
// end of while(1)；
brelse(BUFFER *bp)，
{
(8).iF (bp queue has waiter)( V(bp); return; ]
(9).if(bp dirty && free queue has waiter){ awrite(bp);zeturn;}(10).enter bp into(tail of) freelist;V(bp);V(free);
}

证明PV算法的正确性

（1）缓冲区唯一性：在 getblk（）中，如果有空闲缓冲区，则进程不会在（1）处等待，而是会搜索 dev list。如果所需的缓冲区已经存在，则进程不会重新创建同一个缓冲区。如果所需的缓冲区不存在。则进程会使用个空闲缓冲区来创建所需的缓冲区。而这个空闲缓冲区保证是存在的。如果没有空闲缓冲区，则需要同一个缓冲区的几个进程可能在（1）处阻塞。当在（10）处释放出一个空闲缓冲区时，它仅释放一个进程来创建所需的缓冲区。一旦创建了缓冲区，它就会存在于dev list中，这将防止其他进程再次创建同一个缓冲区。因此，分配的每个缓冲区都是唯一的。

（2）无重试循环：进程重新执行while（1）循环的唯一位置是在（6）处，但这不是重试，因为进程正在不断地执行。

（3）无不必要唤醒：在 getblk（中，进程可以在（1）处等待空闲缓冲区也可以在（4）处等待所需的缓冲区。在任意一种情况下，在有缓冲区之前，都不会唤醒进程重新运行。此外，当在（9）处有一个脏缓冲区即将被释放并且在（1）处有多个进程等待空闲缓冲区时，该缓冲区不会被释放而是直接被写入。这样可以避免不必要的进程唤醒。

（4）缓存效果：在 Unix算法中，每个释放的缓冲区都可被获取。而在新的算法中，始终保留含等待程序的缓冲区以供重用。只有缓冲区不含等待程序时，才会被释放为空闲。这样可以提高缓冲区的缓存效果。

（5）无死锁和饥饿：在 getblk（）中，信号量锁定顺序始终是单向的，即 P（free），然后是P（bp），但决不会反过来，因此不会发生死锁。如果没有空闲缓冲区，所有请求进程都将在（1）处阻塞。这意味着，虽然有进程在等待空闲缓冲区，但所有正在使用的缓冲区都不能接纳任何新用户。这保证了繁忙缓冲区最终将被释放为空闲缓冲区。因此，不会发生空闲缓冲区饥饿的情况。

模拟系统的改进

Unix信号最初设计用于以下用途

（1）模拟系统可以扩展为支持多个磁盘控制器，而不是单独一个磁盘控制器，这样可通过一个数据信号来缓解I/O堵塞。

（2）可用非均匀分布生成输人命令，以改善实际系统中模型文件操作。例如，可以生成更多的读命令而不是写命令，以及一些设备上有更多的I/O需求等。

6.PV算法的改进

PV算法非常简单，易于实现，但是它有以下两个缺点。首先，它的缓存效果可能并非最佳。这是因为一旦没有空闲缓冲区，所有请求进程都将被阻塞在 getblk（）中的（1）处，即使它们所需的缓冲区可能已经存在于缓冲区缓存中了。其次，当进程从空闲列表信号量队列中唤醒时，它可能会发现所需的缓冲区已经存在，但处于繁忙状态，在这种情况下，它将在（4）处再次被阻塞。严格地说，进程被不必要地唤醒了，因为它被阻塞了两次。

I/O缓冲区管理算法比较

  • 系统组织

用户界面****：这是模拟系统的用户界面部分。它会提示输人命令、显示命令执行、显示系统状态和执行结果等。在开发过程中，读者可以手动输入命令来执行任务。在最后测试过程中，任务应该有自己的输入命令序列。例如，各任务可以读取包含命令的输入文件。

《Unix/Linux系统编程》第十二章学习笔记

  • 多任务处理系统

这是多任务处理系统的CPU端，模拟单处理器（单CPU）文件系统的内核模式。实际上，它与第 4章中所述的用于用户级线程的多任务系统相同，只是以下修改除外。当系统启动时，它会创建并运行一个优先级最低的主任务，但它会创建 ntask 工作任务，所有任务的优先级都是1，并将它们输入 readyQueue。

由于主任务的优先级最低，所以如果没有可运行的任务或所有任务都已结束，它将再次运行。在后一种情况下，主任务执行end task（），在其中收集并显示模拟结果，然后终止，从而结束模拟运行。

所有工作任务都执行同一个body（）函数，其中每个任务从输入文件中读取命令来执行读或写磁盘块操作，直到命令文件结束。

（2）磁盘驱动程序

（1）start io（）：维护设备I/O队列，并对I/O 队列中的缓冲区执行 I/O操作。

（2）中断处理程序：在每次I/O操作结束时，磁盘控制器会中断CPU。当接收到中断后，中断处理程序首先从 IntStatus中读取中断状态。

（4）磁盘中断

从磁盘控制器到CPU的中断由 SIGUSR1（#10）信号实现。在每次I/O操作结束时，磁盘控制器会发出kill（ppid，SIGUSR1）系统调用，向父进程发送 SIGUSR1信号，充当虚拟CPU中断。通常，虚拟CPU会在临界区屏蔽出/入磁盘中断（信号）。为防止竞态条件，磁盘控制器必须要从CPU接收一个中断确认，才能再次中断。

（5）虚拟磁盘

使用Linux系统调用lseek（）、read（）和 write（），我们可以支持虚拟磁盘上的任何块I/O操作。为了简单起见，将磁盘块大小设置为16字节。由于数据内容无关紧要，所以可以将它们设置为16个字符的固定序列。

（6）磁盘控制器

磁盘控制器是主进程的一个子进程。因此，它与CPU 端独立运行，除了它们之间的通信通道，通信通道是 CPU和磁盘控制器之间的接口。通信通道由主进程和子进程之间的管道实现。

命令：从 CPU到磁盘控制器的I/O命令。

DataOut：在写操作中从 CPU 到磁盘控制器的数据输出。

DataIn：在读操作中从磁盘控制器到CPU 的数据。

IntStatus：从磁盘控制器到CPU 的中断状态。

IntAck：从CPU到磁盘控制器的中断确认。

实践：

通过对信号量PV操作，消除父子进程间的竞争条件，使其调用顺序可控。代码链接如下：

https://gitee.com/gao_ze_zheng/passage3/tree/master/12.4PV

运行结果：

《Unix/Linux系统编程》第十二章学习笔记

上一篇：Python第一课


下一篇：Solution - CF1237D