NVIDIA GPU components version selection

[toc]

1. Big Picture

各个层之间以 ABI 对接

2. GPU hardware and Compute Capability(CC)

Compute Capability (CC) defines the hardware features and supported instructions for each NVIDIA GPU architecture.

Compute Capability 其实就是指令集，可能高等级的指令集比低等级的指令更多。硬件定下来了，指令集也就定下来了。

Compared to Ampere, Ada delivers more than double the FP16, BF16, TF32, INT8, and INT4 Tensor TFLOPS, and also includes the Hopper FP8 Transformer Engine, delivering over 1.45 PetaFLOPS of tensor processing in the RTX 6000 Ada Generation.

Ref

关于 Blackwell，从 “Compute Capability 和显卡”中我们也可以看到，10 是 for data center， 11 是 Jetson， 12 是 GeForce/RTX

• Refs:
  • compute-capability
  • NVIDIA Ada GPU architecture (compute capability 8.9)
  • Blackwell architecture (compute capability 10.0)

2.1. ABI 兼容性

对于 cubin (cuda binary) 用的 CC 版本和运行时 GPU 的 CC，也就是编译时的 CC 和运行时的 CC，这两种 ABI：

• 大版本之间是不兼容的
• 小版本之间，低版本的 cubin 可以跑到高版本 GPU 上

• Refs:
  • https://docs.nvidia.com/cuda/ampere-compatibility-guide/

2.2. Compute Capability 和显卡

• Refs:
  • https://developer.nvidia.com/cuda-gpus
  • https://developer.nvidia.com/cuda-legacy-gpus
• Related links:
  • https://en.wikipedia.org/wiki/CUDA#GPUs_supported

3. 设备驱动（Device Driver)（内核模块）

NVIDIA 的设备驱动不是一个设备一个驱动，而是独立的，一个大版本一个分支。一个大版本的设备驱动会支持一系列的设备，大版本更新迭代就会逐渐放弃对旧版设备的支持。就像 515 分支 README 中会提到：

GeForce and Workstation support is still considered alpha-quality.

对于一个特定硬件，我们需要找到哪个驱动大版本支持该硬件，然后下载该大版本驱动中的最新小版本。

Open GPU kernel modules are supported only on Turing and newer generations.

Ref

The NVIDIA open kernel modules can be used on any Turing or later GPU (see the table below).

Ref

GeForce 系列中，20 系列是 Turing 架构的，所以，从 20 系列起的显卡，可以使用 Open GPU kernel modules

3.1. 设备驱动版本的选择

该目录下，有所有的驱动版本。在各个版本下的 README/supportedchips.html 页面中，有记录特定版本的驱动支持哪些型号的 GPU，例如，这是 580.76.05 版本的驱动支持的 GPU 列表。（不要使用 run 来安装，会搞乱系统的，安装时还是使用包管理器来安装）

当然，我们也可以去下载的 Supported Products 里面查看支持的 GPU 型号，相关链接如下

• Linux:
  • https://www.nvidia.com/en-us/drivers/unix/
  • https://www.nvidia.com/en-us/drivers/details/252613/
  • https://www.nvidia.com/en-us/drivers/details/226760/
• Windows:
  • https://www.nvidia.cn/drivers/details/253167/

这些界面的入口都在 此

我们可以看到 RTX 20/30/40/50 系列都能使用 580 版本的驱动。

3.2. Ubuntu 上的驱动版本依赖

nvidia-open
  nvidia-driver-570-open
    nvidia-kernel-source-570-open(dkms ko source)

3.3. 旧版 GPU 驱动的选择

上文说到 Turing 架构起都能使用 nvidia-open，那么旧版的呢？Arch Wiki 这里有个表

这里的 GPU Family 就是指的 NVIDIA GPU architecture.

如何知晓自己的 GPU 的 GPU Family 呢？Arch Wiki 也说明了，首先找到自己的 GPU 型号

lspci -k -d ::03xx

0d:00.0 VGA compatible controller: NVIDIA Corporation GK208B [GeForce GT 730] (rev a1)
                                                      ------ ----------------
                                                     code name  GPU Model

有两种方式：

• 根据 GPU 型号查上面的表，可以看到他的 CC 是 3.5，是基于 Kepler 架构的，所以我们需要装的是 nvidia-470xx-dkms
• 根据 code name，去 nouveau codenames 找属于那个 GPU Family，可以看到是属于 NVE0 family (Kepler)，所以我们需要装的是 nvidia-470xx-dkms

3.3.1. 关于 Code Name

drivers/gpu/drm/nouveau/nvkm/engine/device/base.c 中是有关于 code name 的信息的，但是 lspci 不是从这里取的，我们通过 strace 查看到会去读 /sys/bus/pci/devices/0000:0d:00.0/device，然后将具体的设备对应到什么名字是在这里查的 /usr/share/hwdata/pci.ids。修改这个文件中的名字，lspci 确实会变成我们修改后的名字。

而如果这个文件中没有对应的名字，lspci 就直接显示 device id 到 lspci 的结果中了，就像 Ubuntu 中没有 5090 D 的信息，就会直接显示 2b87，如果新增 2b87 GB202 [GeForce RTX 5090 D] 到该文件中，就会更新啦。

PCI ID 可以去 NVIDIA/open-gpu-kernel-modules 找。

4. CUDA 驱动（libcuda.so）

• CUDA：Compute Unified Devices Architecture
• CUDA core 就是 GPU 的渲染核心，只是 nvidia 提供了访问这些核心的 API 即 cuda。 refs

CUDA is a driver that lets other apps use the GPU for processing things other than graphics. Like for doing math processing and encoding. It doesn’t affect graphics performance.

Ref

libcuda.so 是对 Device Driver 的一层封装，以提供 CUDA API。一般只用于管理（是吗？？？）

While the CUDA driver API provides (CUDA Driver API) a low-level programming interface for applications to target NVIDIA hardware.

• CUDA Driver API
• Ref

// By ChatGPT
// gcc -I /usr/local/cuda-12.8/targets/x86_64-linux/include  a.c -lcuda
// nvcc cu_driver_version.c -o cu_driver_version -lcuda
#include <stdio.h>
#include <cuda.h>

int main() {
    CUresult res;
    int driverVersion = 0;

    // Initialize the CUDA driver API
    res = cuInit(0);
    if (res != CUDA_SUCCESS) {
        printf("Failed to initialize CUDA driver API (error code %d)\n", res);
        return -1;
    }

    // Get CUDA driver version
    res = cuDriverGetVersion(&driverVersion);
    if (res == CUDA_SUCCESS) {
        int major = driverVersion / 1000;
        int minor = (driverVersion % 1000) / 10;
        printf("CUDA Driver Version: %d (Major %d, Minor %d)\n", driverVersion, major, minor);
    } else {
        printf("Failed to get CUDA driver version (error code %d)\n", res);
        return -1;
    }

    return 0;
}

4.1. CUDA 驱动版本的选择

CUDA 驱动 版本是需要和 设备驱动 版本统一的。

只有以下三种系统支持“旧版设备驱动” + “新版cuda驱动”

• NVIDIA Data Center GPUs.
• Select NGC Server Ready SKUs of RTX cards.
• Jetson boards.

• Refs:
  • https://docs.nvidia.com/deploy/cuda-compatibility/forward-compatibility.html
• Related links:
  • https://hackmd.io/@JiangJianGuo/HJYOaAWfA

4.2. Ubuntu 上的驱动版本依赖

nvidia-open
  nvidia-driver-570-open
    libnvidia-compute-570 (libcuda.so)

所以这里我们可以看到 libcuda.so 和 nvidia.ko 都是 nvidia-driver-570-open 的依赖，而且看到版本号要求是 =，所以 CUDA 驱动 版本是需要和 设备驱动 版本统一的。

4.2.1. 其他依赖

nvidia-open
  nvidia-driver-570-open
    libnvidia-gl-570 (= 570.172.08-0ubuntu1)
    nvidia-dkms-570-open (= 570.172.08-0ubuntu1)            <- /usr/src 中提供 patch
    nvidia-kernel-common-570 (= 570.172.08-0ubuntu1)
      nvidia-firmware-570 (= 570.172.08-0ubuntu1)
      nvidia-modprobe (>= 570.172.08-0ubuntu1)
    nvidia-kernel-source-570-open (= 570.172.08-0ubuntu1)   <- nvidia.ko and other ko
    libnvidia-compute-570 (= 570.172.08-0ubuntu1)           <- libcuda.so
    libnvidia-extra-570 (= 570.172.08-0ubuntu1)
    nvidia-compute-utils-570 (= 570.172.08-0ubuntu1)
    libnvidia-decode-570 (= 570.172.08-0ubuntu1)
    libnvidia-encode-570 (= 570.172.08-0ubuntu1)
    nvidia-utils-570 (= 570.172.08-0ubuntu1)
    xserver-xorg-video-nvidia-570 (= 570.172.08-0ubuntu1)
    libnvidia-fbc1-570 (= 570.172.08-0ubuntu1)

5. CUDA Toolkit

CUDA toolkit 提供了 nvcc 等各种上层应用。

CUDA toolkit 的版本依赖 CUDA 驱动的版本

• API: not compatible(old toolkit may not compile with new cuda driver )
• ABI: compatible(old toolkit can run on new cuda driver)( since cuda 10 )

Starting with CUDA 11, the toolkit versions are based on an industry-standard semantic versioning scheme: .X.Y.Z, where: .X stands for the major version - APIs have changed and binary compatibility is broken. .Y stands for the minor version - Introduction of new APIs, deprecation of old APIs, and source compatibility might be broken but binary compatibility is maintained. .Z stands for the release/patch version - new updates and patches will increment this.

• Refs
  • https://docs.nvidia.com/cuda/cuda-c-best-practices-guide/index.html#cuda-compatibility-and-upgrades

5.1. CUDA Toolkit 版本的选择

Table 2 CUDA Toolkit and Minimum Required Driver Version for CUDA Minor Version Compatibility

• Refs
  • https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#id8

Table 3 CUDA Toolkit and Corresponding Driver Versions

• Refs:
  • https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#id9

6. PyTorch

PyTorch is an open-source deep learning framework that’s known for its flexibility and ease-of-use. This is enabled in part by its compatibility with the popular Python high-level programming language favored by machine learning developers and data scientists.

PyTorch is a fully featured framework for building deep learning models, which is a type of machine learning that’s commonly used in applications like image recognition and language processing.

Ref

6.1. PyTorch 版本的选择

从安装方式来看，PyTorch 对 CUDA Toolkit 的小版本都是有要求的，虽然同一版本的 PyTorch 可以跑在不同的 CUDA Toolkit 上，但是安装的二进制都是不同的，所以这里是强依赖。就像我们目前安装 2.7.0 的 PyTorch，它的版本号是 2.7.0+cu128。显然是限定了 Toolkit 的版本。

NVIDIA CUDA Toolkit version

…

• Refs:
  • https://pytorch.org/get-started/locally/
  • https://pytorch.org/get-started/previous-versions/

AMD ROCM

…

7. 怎么选各个组件的版本

GPU 型号确定了可以安装 device driver 的版本范围，从而确定了 CUDA driver 的版本范围，从而确定 CUDA Toolkit 的版本范围，从而确定 PyTorch 的版本范围。

所以主要考虑 GPU 型号，但是由于 PyTorch 并不支持最新的 CUDA Toolkit，所以，我们还需要考虑 PyTorch 的对 CUDA Toolkit 的版本范围要求。对于目前最新的 GeForce RTX 5090，device driver、CUDA driver 虽然可以装最新的 580，但是由于对于该版驱动 CUDA Toolkit 只能安装 13.x，而 PyTorch 当下还不支持 CUDA Toolkit 13.x，所以我们只能安装 576 的 driver，12.9 的 Toolkit 和 2.8 的 PyTorch。等到 PyTorch 更新支持 13.x 的 Toolkit 时，就没有这些限制啦。

• About Me
• Donate Me
• Ben's Blog