cuDNN（NVIDIA CUDA Deep Neural Network library）是一个专门为深度学习设计的GPU加速库，它依赖于CUDA平台来执行其优化操作。
CUDA
CUDA是NVIDIA推出的一个并行计算平台和编程模型，它允许开发者利用NVIDIA GPU的并行计算能力来加速计算密集型应用程序。CUDA提供了GPU编程的接口和工具，使得开发者能够编写在GPU上运行的程序。
● 底层硬件交互：CUDA负责直接与GPU硬件进行交互，管理GPU上的计算资源、内存资源等，为上层应用提供高效的并行计算能力。
cuDNN的依赖关系
● 基于CUDA的加速：cuDNN是建立在CUDA平台之上的，它利用CUDA提供的GPU并行计算能力来加速深度学习中的各种操作，如卷积、池化、激活函数等。cuDNN通过高度优化的算法和GPU加速技术，显著提高了深度学习模型的训练速度和推理速度。
● API与函数库：cuDNN提供了一套丰富的API和函数库，这些API和函数库都是基于CUDA编写的。开发者在编写深度学习应用时，可以通过调用cuDNN的API来利用GPU加速深度学习操作。这些API背后是cuDNN在CUDA平台上实现的优化算法和并行计算逻辑。
与CPU的交互
● CPU与GPU的协同工作：虽然cuDNN主要依赖于CUDA平台来执行GPU加速操作，但在深度学习应用中，CPU和GPU通常是协同工作的。CPU负责处理一些不适合并行计算的任务，如数据预处理、模型参数更新等，而GPU则负责执行大规模并行计算任务，如神经网络的前向传播和反向传播。
● 数据传输与同步：在CPU和GPU之间，需要频繁地进行数据传输和同步操作。CUDA提供了相应的机制来支持这些操作，如内存拷贝函数（如cudaMemcpy）和同步函数（如cudaDeviceSynchronize）。cuDNN在执行深度学习操作时，也会利用这些机制来确保数据的正确传输和同步。
开发编程角度
- 开发人员编程：
开发人员编写深度学习应用时，会包含cuDNN的头文件（如cudnn.h），这些头文件提供了cuDNN库的类型定义、函数声明等接口信息。
开发人员通过调用这些接口（即cuDNN提供的函数）来执行深度学习中的操作，如卷积、池化等。 - cuDNN调用CUDA：
当开发人员调用cuDNN的某个函数时，该函数内部会进一步调用CUDA的接口（API）来实现具体的GPU加速操作。
cuDNN作为一个高级别的库，它封装了底层的CUDA调用，使得开发人员可以更加专注于深度学习算法的实现，而不需要深入了解GPU的硬件细节和CUDA的编程细节。 - CUDA与GPU交互：
CUDA的接口负责与GPU硬件进行交互，管理GPU上的计算资源、内存资源等。
CUDA通过驱动程序与GPU硬件进行通信，将计算任务分配给GPU上的不同核心（或称为CUDA核心）来并行执行。
CUDA还提供了内存管理、同步机制等功能，以确保GPU上的计算任务能够正确、高效地执行。
图示
总结起来就是我上一篇文章（ AI服务器环境搭建-总结和思考）中画的图中的下边一部分