Chapter 3 Getting Started
三种方式
第一种并行库
第二种并行化编译器
第三种用代码实现并行

Chapter 4 Getting the Right Answer
本章探讨的问题可能会影响返回的数据点，以适当的解决方案
对于浮点精度问题，单精度和双精度，浮点运算不满足结合律
在正常coding中，
float a1 = 0.2;  // 会有warning
float a1 = 0.2f;

Chapter 5 Performance Metrics （性能指标）
利用Timing对程序进行计时以判断性能
对程序进行计时时，如果用cpu端的函数测试时间，则需要同步，用GPU端的函数则不需要同步
在device端涉及到异步copy和执行的问题
影响程序运行时间的最大因素是 Bandwidth ，可以理解为host端与 device 端之间拷贝数据的 speed
每一块机器上都有理论带宽计算，但是兽兽种种因素影响，有效带宽需要我们自己测试出来并且往往比理论带宽低

Chapter 6 Memory Optimizations（内存优化）
基础概念：
一个显卡中会有多个SM（Streaming Multiprocessor），每个SM中有多个SP（Streaming Processor），一个SM会负责多个ThreadBlock（线程块）的计算任务，一般为 8 个，每一个 SP 一个时刻负责一个Thread
Stream：流（Stream）是一系列顺序执行的命令，流之间相对无序或并发的执行他们的命令。
Warp：warp是SM调度和执行的基础概念
这可以说是在GPU与CPU的区别最大的名词。
CPU为单指令单执行的典型，但是GPU为多指令多执行的典型
在SM中，有一种单位叫做warp，一个SM有多个warp，每个warp中一般有32个线程，每一个线程都有自己的寄存器内存和local memory，一个warp中的线程是同时执行的，也就是当进行并行计算时，线程数尽量为32的倍数，如果线程数不上32的倍数的话；加入是1，则warp会生成一个掩码，当一个指令控制器对一个warp单位的线程发送指令时，32个线程中只有一个线程在真正执行，其他31个 进程会进入静默状态。
换句话说，可以用一个非常多的核的CPU来模拟GPU的并行计算

Pinned Memory or Page-locked Memory
在计算机中，虚拟内存的概念在内存短缺时，CPU将一些内存存到本地的硬盘内，当需要这块“内存空间”时，再将其替换到内存中，借此“扩大”内存，而Pinned Memory特制那些不会被替换的内存单元。

Zero Copy （零拷贝）
直接表现：device 端直接访问 host端内存，即device端的指针直接映射到host端，但是这样做必然会降低运算速率，但在特定条件下copy速率比较好
特定一：集成显卡
特定二：GPU端在计算中只读取一次数据并且整个device端计算在整个程序计算中占小部分

虚拟统一寻址：能够为 主系统内存和显卡内存提供一个合并的存储器地址空间，让并行编程变得更快，更easy，但是也需要device端和host端之间的内存copy