自学自用 = B站（操作系统_清华大学(向勇、陈渝)）未完待续。。

2023-02-10 08:08:34

视频地址

http://www.bilibili.com/video/av6538245

介绍

本篇博客，旨在记录视频学习的要点，所以格式随意，方便本人日后自考和回忆，有兴趣的朋友可以评论讨论。

原文地址http://www.cnblogs.com/clockq/p/10318639.html

一、操作系统（OS）描述

1.1 什么是操作系统

OS = Kernel + Shell，是介于底层硬件和应用软件之间的一层软件架构。

Shell 主要提供与Users的交互工作（Windows的GUI和Linux的Terminal）
Kernel 主要负责管理计算机的硬件资源
- CPU调度器
- 内存管理 = 物理内存 + 虚拟内存
- 文件系统管理
- 中断和设备驱动

Kernel 特征

并发（也并行）
共享
虚拟化（cpu,内存 => 进程, 硬盘 => 文件）
异步

1.2 操作系统的发展历史

纸带+人工操作系统
多道操作系统
分时操作系统（1/1000 s一次分时）
单用户操作系统
分布式操作系统

计算机的快速发展与各个底层硬件的快速发展是分不开的（CPU的计算能力，IO的读写能力和网络带宽）

二、OS的启动、中断、异常和系统调用

2.1 计算机系统启动流程

BIOS = Basic Input/Output System

graph LR

A[BIOS]-->B[Bootloader]

B --> C[OS]

2.1.1 BIOS启动流程

POST = Power-On Self-Test

graph LR

A[POST]-->B[启动顺序]

B-->C[主引导记录]

2.1.2 主引导记录

主引导记录（MBR）= Master Boot Record

graph LR

A[MBR]-->B[分区表]

B-->C[活动分区]

2.1.3 硬盘启动

硬盘启动分为三种情况：

卷引导记录（Win）
扩展分区和逻辑分区（不常见）
启动管理器（Linux的Grub）

卷引导记录（VBR）= Volume boot record

graph LR

A[活动分区]-->B[VBR]

B-->C[OS]

启动管理器模式：

graph LR

A[MBR]-->B[Grub]

2.1.4 操作系统启动

graph LR

A[Load /boot/kernel]-->B[run /sbin/init]

2.2 中断、异常、系统调用

中断：不同硬件设备的计时器或网络中断（外设发起）（异步）
异常：非法指令或其他失败的处理状态（应用程序发起）（同步）
系统调用：应用程序主动向操作系统发出的服务请求（应用程序发起）（同步或异步）

2.2.1 中断处理流程

graph LR

A[外设设置中断标记] --> B[保存现场]

B --> C[中断程序处理]

C --> D[清除中断标记]

D --> E[恢复现场]

2.2.2 异常处理流程

graph LR

A[保存现场] --> B[异常处理]

B --> C[杀死异常程序]

B --> D[重启发生异常的程序]

C --> E[恢复现场]

D --> E[恢复现场]

2.2.3 系统调用处理流程

应用程序无法直接操作硬件，需要OS提供的服务接口来间接调用，例：

C语言的printf()函数，执行时会调用OS的write()接口

三、内存管理

参考文章https://blog.csdn.net/hguisu/article/details/5713164

3.1 计算机体系结构

计算机基本硬件结构 = CPU + 内存 + 外设

CPU = 运算器 + 寄存器 + 控制器 + Cache（L1 + L2）+ 存储管理单元（MMU）

3.2 内存分层体系

越是靠近CPU的内存，读取速度越快，由近及远依次是：

CPU寄存器 => Cache => 主存 => 虚拟内存

操作系统在内存管理上要完成的任务：

抽象
- 逻辑地址空间 != 实际地址空间
保护（隔离）
- 同时运行多个应用，每个应用有一片独立的地址空间
共享
- 进程间可以使用共享内存进行交互和数据的传递
虚拟
- 内存不足可以利用硬盘获得更多的地址空间

3.3 地址空间和地址生成

逻辑地址空间：一个运行程序所拥有的内存范围。该地址是相对于当前进程数据段的地址，不和绝对物理地址相干。一个逻辑地址，是由一个段标识符加上一个指定段内相对地址的偏移量，表示为 [段标识符：段内偏移量]。
线性地址：是逻辑地址到物理地址变换之间的中间层。
物理地址空间：硬件支持的地址空间。

逻辑地址------（段机制）------->线性地址------（页机制）------->物理地址。

既然逻辑地址最终要转换为物理地址，那么为何还需要逻辑地址呢？

逻辑地址提供了权限检查功能：比如我们设置逻辑地址和物理地址之间的映射关系时，可以设置某块地址是只读的，只写的，只有CPU处于管理模式时才能访问等。这些功能可以让系统的内核，用户程序的运行空间相互独立：用户程序即使出错，也无法破坏内核；用户程序A崩溃了，也无法影响到用户程序B。

3.3.1 逻辑地址生成过程

graph LR

A[C程序.c] --> |编译| B[编译程序.s]

B --> |汇编| C[汇编程序.o]

C --> |链接| D[执行程序.exe]

D --> |加载| E[应有载入内存]

各个步骤的作用：

编译：C程序代码中，每个指针（变量名、函数名）就代表着一个逻辑地址，但该地址对硬件而言是不友好的，因此先经过编译，将代码转为语法树，通过符号来描述地址。
汇编：经过汇编，将上一步的语法树转为机器语言，使用一段相对连续的，从零开始的地址描述程序。更加接近底层硬件语言。
链接：一个大的程序，可能通过多个.o文件组成，所以通过链接，将多个从零开始描述的.o文件组合到一起，并且使之不发生内存冲突。由此组成成为一个.exe应用程序，但此时该程序还存放在硬盘上。
加载：将上一步中，硬盘上的应用程序，通过一定的偏移量加载到内存中。此时的地址依然是逻辑地址。

具体流程如下图：

3.3.2 物理地址生成过程

graph LR

A[CPU加载逻辑地址内容] --> B{查看MMU中是否映射了物理地址}

B --> |有| L[获得物理地址]

B --> |没有| C{到主存中查找是否有物理地址映射表}

C --> |有| L

L--> D[读取物理地址的内容]

3.4 连续内存分配

3.4.1 内存碎片

外部碎片：在分配单元间未使用的内存
内部碎片：在分配单元中未使用的内存

3.4.2 分区的动态分配

什么时候分配？

应用程序启动，运行栈加载到内存的时候，分配一块连续的内存空间
应用程序加载数据时

内存分配算法

1. 首次适配

如要分配N byte，在内存中查找第一个可用（>=N）的空闲块，以满足最快分配。

需求：1. 按照地址排序； 2. 分配需要寻找合适的空闲块； 3. 内存回收后，要将相邻块进行合并。

优势：实现简单；易于产生更大数据块。

劣势：会产生外部碎片；不确定性。

2. 最优适配

如要分配N byte，在内存中查找第一个可用（>=N）的且最小的空闲块，以满足最快分配。更大的利用小空间。

需求：1. 按照剩余空间大小排序； 2. 分配需要寻找最合适的空闲块； 3. 内存回收后，要将相邻块进行合并。

优势：实现简单；适合大量分配小内存。

劣势：重分配慢；易产生大量微小的外部碎片。

3. 最差适配

如要分配N byte，在内存中查找第一个可用（>=N）的且最大的空闲块，以满足最快分配。避免出现大量微小空间。

需求：1. 按照剩余空间大小排序（倒序排列）； 2. 分配需要寻找最合适的空闲块； 3. 内存回收后，要将相邻块进行合并。

优势：适合大量分配中等大小内存。

劣势：重分配慢；易产生外部碎片；会破坏大的空闲块，使更大的应用无法分配。

3.4.3 压缩式碎片整理

将非运行时应用占用的内存移动到相邻的一处内存，以减少应用间的外部碎片

3.4.4 交换式碎片整理

利用虚拟内存，将非运行时应用占用的内存移动到虚拟内存，以使的运行时应用有更大的空闲空间使用。

3.5 非连续内存分配

优点：

内存分配在物理地址空间是非连续的
可以更好，最大化的利用物理内存和管理
允许共享代码和数据（共享库等、、）
支持动态加载和动态链接

缺点：

内存管理本身的一些维护开销
硬件的配合和支持（分段和分页）

3.5.1 分段（Segmentation）

为了更好的分离和管理。

使用分断管理机制后，在逻辑地址层面，地址看上去是连续的，而在物理地址层面，可以将不同的代码段分离出来管理，从而实现共享，管理，权限保护等。

分断寻址方案

3.5.2 分页（Paging）

先划分物理内存至固定大小的帧（Frame），用二元组(f,o)表示帧号和帧内偏移；划分逻辑地址空间至相同大小的页（Page），用二元组(p,o)表示页号和页内偏移。帧更像是相框，里面啥也没有，放了照片（逻辑页面）才有意义。

物理寻址方式例题：

16-bit的地址空间，512byte大小的页帧大小，则物理地址为（3，6）的实际地址是多少？

解：

512 = 2^9 // 页帧需要使用9bit表示

16-9 = 7  // 页号需要使用7bit表示

所以实际物理地址的二进制表示为 0000011 000000110

转为十进制为1542，也可以用 3 * 512 + 6 = 1542

3.5.3 页表的缺点

每个运行程序都有一个页表，属于程序的运行状态，会动态的发生改变。

缺点：

通过分页实现的内存映射，需要进行两次查询（页表查询，物理地址访问）
页表会占用额外的内存，假如64bit机器的每页大小为1024byte，则最大会有2^54个页号
每个应用都有一份页表，对于问题2，就更加麻烦了

上述问题，可以使用缓存和间接访问两种方式解决。

3.5.4 页表的优化

TLB（Translation Look-aside Buffer）

TLB是一块特殊的快表，可以更快的获得物理帧号，且TLB的miss几率可以忽略不计。

页表有个特殊的概念叫驻留位（上图标红的地方），驻留位为0的表示物理帧号不存在，也就是本页映射无效。

多级页表

反向页表

页寄存器方案：

页表反向设计，页表索引以帧号为index，因为物理内存是固定的，而逻辑空间是无限增长的，因此大大减少了页表大小。

优：

占用空间小
转换表只与物理内存有关，与逻辑内存无关

弊：

信息对调，无法根据页号找到帧号

关联内存方案：。。。

Hash方案：。。。

四、虚拟内存管理

4.1 起因

希望有个很大、很快、很便宜的存储器，最好掉电数据不丢失。因此，贪心的人类想到了利用硬盘。

早期的计算机由于硬件限制，经常会出现内存不够的情况，当时主要通过覆盖技术(只把需要的指令和数据存在内存中)和交换技术(把暂时不用的指令和数据存到swap中)。

4.2 覆盖技术

产生于20世纪80年代，一般用于多道程序系统的DOS操作系统。当时计算机的内存容量大多只有640kb。

目的：

在较小的内存容量下运行较大的应用程序，与分区存储管理配合使用。

实现：

如下图所示，A程序为常驻应用，但BC程序不会相互调用，DEF程序也不会相互调用，所以就可以让之后调用程序内存覆盖之前调用的内存空间。（以模块为粒度覆盖）

缺点：

由程序员来考虑把一个大程序，划分为若干小的功能模块，并确定各个模块之间的依赖，覆盖关系。增加了系统复杂性和编程难度。
覆盖模块从外存装入内存，是典型的时间换空间。

4.3 交换技术

一般用于Unix操作系统。

目的：

让正在运行或需要运行的程序可以获得更多内存资源。

实现：

将暂时没有运行的程序移到外部swap，从而获得更多的物理内存。（以程序为粒度交换）

注意：

何时进行换入（swap in）和换出（swap out）操作？尽量少，内存不够再换出
交换分区（swap）的空间要设置多大？必须足够大，可以存放所用用户进程的内存拷贝。
内存换入时的地址重定向问题？要采用动态地址映射法。

4.4 虚存技术

在有限容量的内存中，以更小的页粒度为单位装入更多更大的程序（对覆盖技术和交换技术的一次融合）。

目的：

像覆盖技术一样，不将应用全部载入内存，而是载入部分，以此来运行比物理内存大很多的应用程序。但不需要程序员维护。
像交换技术一样，能够实现应用在内存和外存之间的交换。但不以程序为粒度交换。

要求：

局部性原理：

指程序在执行过程的一个较短时间内，所执行的指令地址和指令操作数地址，分别局限在一小块区域。

时间局部性：一条指令的一次执行和下次执行，数据的一次访问和下次访问都集中在较短时间内；（类似缓存、预加载，增加命中率）
空间局部性：当前指令和临近的几条指令，当前访问数据和临近的数据都集中在一块较小的区域内；（减少swap次数，同上）

举例：对于一个二维数组[1024 * 1024], 对于横向打印和竖向打印，效率差异还是相当大的！

特征：

充分利用CPU寻址能力，获得更大的可用物理内存（主存+虚存）
部分交换
不连续性：逻辑地址也可以不连续

虚拟页式内存管理：

这种管理方式，是大多数虚拟存储设备的选择，即在页式存储的基础上，增加了请求调页和页面置换功能。

请求调页：应用程序装入内存时，不是一次性载入全部的页片到内存，而是用到哪个页片载入哪个帧。（局部加载）

页面置换：在应用运行过程中，如果发现需要的页片不在内存中，就会发生“断页中断请求”，系统处理这个中断，就会将虚拟内存中的帧加载到物理内存中。（延迟调用）

页表项结构

缺页中断处理过程

语言描述

缺页中断发生时的事件顺序如下：

硬件陷入内核，在堆栈中保存程序计数器。大多数机器将当前指令的各种状态信息保存在特殊的CPU寄存器中。
启动一个汇编代码例程保存通用寄存器和其他易失的信息，以免被操作系统破坏。这个例程将操作系统作为一个函数来调用。
当操作系统发现一个缺页中断时，尝试发现需要哪个虚拟页面。通常一个硬件寄存器包含了这一信息，如果没有的话，操作系统必须检索程序计数器，取出这条指令，用软件分析这条指令，看看它在缺页中断时正在做什么。
一旦知道了发生缺页中断的虚拟地址，操作系统检查这个地址是否有效，并检查存取与保护是否一致。如果不一致，向进程发出一个信号或杀掉该进程。如果地址有效且没有保护错误发生，系统则检查是否有空闲页框。如果没有空闲页框，执行页面置换算法寻找一个页面来淘汰。
如果选择的页框“脏”了，安排该页写回磁盘，并发生一次上下文切换，挂起产生缺页中断的进程，让其他进程运行直至磁盘传输结束。无论如何，该页框被标记为忙，以免因为其他原因而被其他进程占用。
一旦页框“干净”后（无论是立刻还是在写回磁盘后），操作系统查找所需页面在磁盘上的地址，通过磁盘操作将其装入。该页面被装入后，产生缺页中断的进程仍然被挂起，并且如果有其他可运行的用户进程，则选择另一个用户进程运行。
当磁盘中断发生时，表明该页已经被装入，页表已经更新可以反映它的位置，页框也被标记为正常状态。
恢复发生缺页中断指令以前的状态，程序计数器重新指向这条指令。
调度引发缺页中断的进程，操作系统返回调用它的汇编语言例程。
该例程恢复寄存器和其他状态信息，返回到用户空间继续执行，就好像缺页中断没有发生过一样。

流程图

与分页有关的工作

摘自[https://blog.csdn.net/qq_22238021/article/details/80192776]

操作系统要在下面的四段时间里做与分页相关的工作：进程创建时，进程执行时，缺页中断时和进程终止时。

当在分页系统中创建一个新进程时，操作系统要确定程序和数据在初始时有多大，并为它们创建一个页表。操作系统还要在内存中为页表分配空间并对其进行初始化。当进程被换出时，页表不需要驻留在内存中，但当进程运行时，它必须在内存中。另外，操作系统要在磁盘交换区中分配空间，以便在一个进程换出时在磁盘上有放置此进程的空间。操作系统还要用程序正文和数据对交换区进行初始化，这样当新进程发生缺页中断时，可以调入需要的页面。某些系统直接从磁盘上的可执行文件对程序正文进行分页，以节省磁盘空间和初始化时间。最后，操作系统必须把有关页表和磁盘交换区的信息存储在进程表中。

当调度一个进程执行时，必须为新进程重置MMU，刷新TLB，以清除以前的进程遗留的痕迹。新进程的页表必须成为当前页表，通常可以通过复制该页表或者把一个指向它的指针放进某个硬件寄存器来完成。有时，在进程初始化时可以把进程的部分或者全部页面装入内存中以减少缺页中断的发生，例如，PC（程序计数器）所指的页面肯定是需要的。

当缺页中断发生时，操作系统必须通过读硬件寄存器来确定是哪个虚拟地址造成了缺页中断。通过该信息，它要计算需要哪个页面，并在磁盘上对该页面进行定位。它必须找到合适的页框来存放新页面，必要时还要置换老的页面，然后把所需的页面读入页框。最后，还要备份程序计数器，使程序计数器指向引起缺页中断的指令，并重新执行该指令。

当进程退出时，操作系统必须释放进程的页表、页面和页面在硬盘上所占用的空间。如果某些页面是与其他进程共享的，当最后一个使用它们的进程终止的时候，才可以释放内存和磁盘上的页面。

后备存储（Backing Store）

在何处保存未加载的帧？

能够简单的识别在二级存储器中的页
交换空间（磁盘或者文件）

后备存储可以有哪些？

一个虚拟地址空间的页：可以被映射到一个文件的某个位置
代码段：可以映射到可执行的二进制文件
动态共享程序段：映射到动态调用的库文件
其他段：映射到交换文件中

虚拟内存性能

有效存储访问时间（EAT）= Effective Memory Access Time

EAT = 访问时间 * 页表命中率 + 缺页处理时间 * 缺页几率

例子：

访问时间： 10ns

磁盘访问时间：5ms = 5 * 10^6 ns

page fault rate：p

dirty page rate（页内容改变，同步到虚拟内存概率）：q

EAT = 10 * (1 - p) + 5 * 10^6 * p * (1 + q)

由上述例子可以看出，变量p对于整体EAT的影响最重要。

4.5 页面置换算法

缺页几率，是严重影响虚拟内存效率的一个因素，而缺页几率与页面置换算法息息相关。

功能：当缺页中断发生，需要加载新的帧页到内存，但当应用内存已满时，需要选择淘汰物理内存中的帧来给新的帧资源。

目标：尽可能的减少页面换进换出次数。

对于常驻内存（如操作系统或其他关键应用）添加锁定标志位，避免换出。

分类：分为局部页面置换和全局页面置换两大类

局部页面置换：
1. 最优页面置换算法（OPT）（最晚重用被淘汰）（理想状态，无法实现，可为依据）
2. 先进先出算法（FIFO）（存活久的被淘汰）（利用链表即可实现，最差情况下性能较差）
3. 最近最久未使用算法（LRU）（最久没用被淘汰）（链表、堆栈可实现，但开销较大）
4. 时钟页面置换算法（Clock）（利用FIFO优化的LRU）（环形链表选最老）
5. 二次机会法（？？）（Clock脏页版）（两条命的命中高，有了脏位换出少）
6. 最不常用算法（LFU）（有的最少被抛弃）（表中加个计数器）
全局页面置换：
1. 工作集页面置换算法（？？）（利用工作集的LRU）（无须缺页就淘汰，利用时刻来换出）
2. 缺页率页面置换算法（PFF）（动态改变常驻集的工作集算法）（根据缺页频率，淘汰多个页面）

4.5.1 最优页面置换算法（OPT）

基本思路：当一个缺页中断发生，需要进行页面置换时，对于当前内存中的每一个逻辑页面，计算它下一次被访问时还需等待的时间，从中选择等待时间最长的页面，作为置换页。

评价：该算法无法实现或者说很难实现，因为OS无法预知每个页面下次访问需要的等待时间，但该算法可以作为其他算法评定的依据。

例图：

4.5.2 先进先出算法（FIFO）

基本思路：对于当前内存中的每一个逻辑页面，计算它载入内存的时间，从中选择驻留时间最长的页面，作为置换页。

评价：利用链表实现，载入向链尾加，换出删除链表头即可。

例图：

4.5.3 最近最久未使用算法（LRU）

基本思路：选择最久未被使用的帧页，作为置换页。

评价：时间轴上与最优算法相反，符合局部性原理。在最近一段区间内，找到最久未使用的帧。对于记录各页面调用的先后顺序，开销较大，可以利用链表或堆栈实现。

例图：

4.5.4 时钟页面置换算法（Clock）

基本思路：与LRU相似，是FIFO的一种改进。是二者之间的一种平衡。实现是在页面中加入一个访问位,一个页面载入时，由硬件初始化为0（软件也可以），如果页面被访问，则相应页表项置为1。将各页表项组成一个环形链表，发生缺页中断时，指针循环判断环形链表，若判断的页表项为0，选为置换页，置换并访问新页后，新页表项置为1，指针下移；若判断的页表项为1，则改为0，指针下移。

例图：

4.5.5 二次机会法（）

基本思路：对Clock算法的一个改进，优化Clock算法对修改页面的写入逻辑，引入新位dirty bit（脏位）来标识内存修改过与虚存不一致。对于脏位为0的页面，不必进行同步回虚存的一步。而对于脏位为1的页面，多了一次存活机会，与访问位用法一样。

评价：优化Clock算法的换出效率，并利用两个标识位拥有两条命，来增加存活率，加大命中次数。

例图：

4.5.6 最不常用算法（LFU）

基本思路：选择访问次数最少的页为置换页。所以要维护一张表，对每个页都有个访问计数器。

评价：LRU关注访问过去时间，久的淘汰；LFU关注访问次数，少的淘汰。

4.5.7 局部页面置换算法总结：

Belady现象：

Belady（笔勒滴，一个科学家名）在采用FIFO算法时，有时会出现分配的物理页面数增加，缺页率反而提高（命中率反而下降）的反常现象。

例图：

解决：LRU算法

FIFO、LRU、Clock三者比较？

FIFO、LRU都有先进先出思想，但LRU对于访问算作一次新的进入，有局部性思想。
FIFO、LRU相比，LRU性能虽好，但开销较大；而FIFO有Belady现象
LRU、Clock很相似，但Clock加入访问位模拟LRU的访问顺序，而不用动态维护顺序链表，开销更小，但性能较LRU略有不足

局部页面置换算法的问题：

对应用分配了固定的物理页帧，一定程度上限制了系统灵活性，比如同时运行多个程序，但高峰期正好交错开。所以可以根据应用运行的不同阶段，调整分配的物理页帧，最大化利用系统资源。

4.5.8 工作集和常驻集

工作集：一个进程p当前执行时刻t前，在之前的定长的页面访问工作集窗口△阶段，使用的逻辑页面集合，用二元函数 W(t, △) 表示；随时刻t变化，集合也在变化。 | W(t, △) |表示集合大小，即页面数目。（一段时间内访问的页面集合）

常驻集：一个进程p在当前时刻t实际驻留在内存中（物理页面）的页面集合。（某时刻访问的页面集合）

常驻集 <= 工作集。

缺页率：“缺页次数” / “内存访问次数”，影响因素：

页面置换算法
分配的物理页帧数（常驻集大小）
页面本身大小
编写的程序（是否符合局部性）

4.5.9 工作集页面置换算法

基本思路：类似LRU最久未用被淘汰，但不同的是触发事件不同，当时刻改变时（而非缺页时）就会清理物理页面，准备物理页帧。

例图：

4.5.10 缺页率页面置换算法（PFF）

基本思路：在工作集页面置换算法基础上，动态改变时刻窗口（△）大小，即常驻集大小。当缺页率上升时，提高常驻集大小，反之减少。（淘汰的触发时间是缺页时，一次可能淘汰多个页面）

评价：性能好，开销大。

例图：

4.5.11 抖动问题

什么是抖动？

当分配的常驻集小于工作集，使进程产生很多缺页中断，频繁进行换进换出，从而使运行速度变慢的现象叫做抖动问题。

产生原因？

随着驻留内存中应用的增加，分配给每个应用的物理页帧（常驻集）持续减少，缺页率随之提高。所以OS要选择运行适当的进程数量，及每个进程所需页帧数，使并发水平和缺页率达到一定平衡。

码农公寓