CUDA是NVIDIA在2006年推出的并行计算平台,是AI计算生态的基石。
为什么重要:所有主流深度学习框架(PyTorch/TensorFlow/JAX)基于CUDA;数百万开发者熟悉CUDA生态;数十年的优化积累(cuBLAS/cuDNN等高性能库);CUDA只能在NVIDIA GPU上运行,是NVIDIA 90%+市场份额的根本原因。
编程模型:Kernel(GPU上并行执行的函数)、Thread/Block/Grid(线程层次)、Shared Memory(片上高速缓存)、Stream(异步操作队列)。
生态工具:cuBLAS(矩阵运算)、cuDNN(深度学习原语)、TensorRT(推理优化)、NCCL(多GPU通信)。
CUDA的护城河至少还能维持3-5年。AMD的ROCm和Intel的OneAPI短期内无法与CUDA生态竞争。