Nvidia CUDA初级教程1 CPU体系架构综述
视频：https://www.bilibili.com/video/BV1kx411m7Fk?p=2
讲师：周斌
本节内容：了解现代CPU的架构和性能优化：
- 流水线 Pipelining
- 分支预测 Branch Prediction
- 超标量 Superscalar
- 乱序执行 Out-of-Order (OoO) Excution
- 存储器层次 Memeory Hierarchy
- 矢量操作 Vertor Operations
- 多核处理 Multi-Core
CPU
什么是CPU？
-
执行指令、处理数据的器件
- 完成基本的逻辑和算术指令
-
现在增加了复杂功能
- 内存接口
- 外部设备接口
-
包含大量的晶体管
非常大（上亿…）
什么是指令？
- 算术：add r4, r4 -> r4
- 访存：load [r4] -> r7
- 控制：jz end
对于一个编译好的程序，最优化目标：
c
y
c
l
e
s
i
n
s
t
r
u
c
t
i
o
n
×
s
e
c
o
n
d
s
c
y
c
l
e
\frac{cycles}{instruction}\times \frac{seconds}{cycle}
instructioncycles×cycleseconds
CPI（每条指令的时钟数）&时钟周期
这两个指标彼此并不独立，会存在 trade-off。
桌面应用
桌面应用有以下特点：
- 轻量级进程，少量线程
- 大量分支和交互操作
- 大量的存储器访问
- 真正用于数值计算的指令很少
IO密集型程序
CPU性能优化
流水线
取指、译码、执行、访存、写回，逻辑上是串行的，但是在实际的CPU实现中，有大量并行优化的部分。流水线利用指令级并行 (instruction-level parallelism, ILP)
Pros: 极大地减小时钟周期
Cons: 但是会增加一些延迟和芯片面积
流水线带来的其他的问题：
- 具有依赖关系的指令怎样处理
- 分支怎么处理
- 流水线的长度，14级/20级？并不是越高越好
其他一些优化：
-
旁路 Bypassing
-
停滞 Stalls
-
分支 Branches
分支预测
基于果蛆的分支记录，猜测下一条指令
现代分支预测器的准确度大于90%
Pros: 提升性能及能量效率
Cons: 面积增加、可能会增加延迟
分支断定
用条件语句替换分支
Pros：不适用分支预测器，减小面积，减少错误预测
超标量
常规 IPC (instructions/cycle) 受限于 1 instuction / clock
超标量：增加流水线的宽度
峰值IPC为N（N路超标量），但实际中，会有分支和调度产生的开销，需要一些技巧来接近峰值
Pros: 提升IPC
Cons: 增加了面积、N倍资源占用、旁路网络 N^2、需要更多寄存器和存储器带宽
指令调度
考虑如下指令：
xor r1, r2 -> r3
add r3, r4 -> r4
sub r5, r2 -> r3
addi r3, 1 -> r1
- xor与add互相依赖 (Read-After-Write, RAW)
- sub与addi互相依赖 (RAW)
- xor与sub不依赖 (WAW) ，但是它们会用到同一个寄存器 r3
寄存器重命名
替换寄存器：
xor p1, p2 -> p6
add p6, p4 -> p7
sub p5, p2 -> p8
addi p8, 1 -> p9
现在xor与sub可以并行执行
乱序执行
重排指令，获得最大的吞吐率
- 重排缓冲区 Reorder Buffer，记录所有执行中的指令状态
- 发射队列/调度器 Issue Queue/Scheduler ，选择下一条执行的指令
Pros: IPC接近理想状态
Cons: 面积增加、功耗增加
存储器层次
- 存储器越大越慢
缓存 caching
- 将数据放在尽可能接近的位置
- 利用：
- 时间临近性：刚刚使用过的数据很可能会被再使用
- 空间临近性：倾向于使用周围的临近的数据
缓存层次：
-
硬件管理
- L1、L2、L3缓存
-
软件管理
内存、磁盘
存储器的另外的考虑
- 分区 banking
- 避免多端口
- 一致性 coherency
- 控制器 memory controller
- 多个通道，增加带宽
CPU内部的并行性
- 指令级并行 ILP
- 超标量
- 乱序执行
- 数据级并行 DLP
- 矢量计算
- 线程级并行 TLP
- 同步多线程 SMT
- 多核
向量运算
for (int i=0; i<N; i++) {
A[i] = B[i] + C[i];
}
数据级并行：
- 单指令多数据 Single Instruction Multiple Data (SIMD)
- 执行单元（ALU）很宽
- 寄存器也很宽
for (int i=0; i<N; i+=4) {
// 并行 同时计算
A[i] = B[i] + C[i];
A[i+1] = B[i+1] + C[i+1];
A[i+2] = B[i+2] + C[i+2];
A[i+3] = B[i+3] + C[i+3];
}
x86的向量运算
- SSE2
- AVX
线程级并行
线程
- 线程组成
- 指令流 instruction streams
- 私有寄存器，程序计数器，栈
- 共享全局变量
- 程序员可以创建和销毁
- 程序员或者OS都可以调度
多核
- 将流水线完整复制
- Sandy Bridge-E: 6 cores
- 完整的核，除了最后一级缓存外，不共享其他资源
- 继续保持摩尔定律
- 多核程序核利用率的问题
锁、一致性和同一性
锁 lock
- 问题：多个线程读写同一块数据
- 解决方法：加锁
一致性 coherence
- 问题：谁的数据是正确的？
- 解决方法：缓存一致性协议
同一性 consistency
- 问题：什么样的数据是正确的
- 存储器同一性模型
新时代的计算技术
- 能量墙
- 常规传统单核处理器遇到物理约束，时钟频率 (perf/clock) 无法保持线性增长，免费的午餐要消失了
新摩尔定律
- 处理器越来越胖，核越来越多
- 单核的性能不会大幅提升
- 另外一堵墙：存储器墙
处理器的存储器带宽无法满足处理能力的提升
结论
-
CPU为串行程序优化：
- 流水线、分支预测、超标量、乱序执行、…
- 通过高时钟频率和高利用率来降低执行时间
-
缓慢的内存带宽（存储器带宽）将会是大问题
-
并行处理是方向
- Sandy Bridge-E 6-12 活动线程
-
如果有成千上万的活动线程并发执行呢？
Ref：
https://www.bilibili.com/video/BV1kx411m7Fk?p=2