服务器上安装好了 GPU,同时也安装好了 nvidia drivers、cuda-toolkit、cudnn,那么如何查看 GPU 是否可以正常运行,已经如何读懂各参数信息呢?下面以 Ubuntu 18.04 来说明。

nvcc

cuda 编译器驱动程序 nvcc 的目的是向开发人员隐藏 cuda 编译的复杂细节。详细介绍请参考英伟达官网

这里主要是使用该程序查看 cuda 编译器工具的版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 查看 nvcc 路径
$ whereis nvcc
nvcc: /usr/local/cuda-10.0/bin/nvcc.profile /usr/local/cuda-10.0/bin/nvcc /usr/share/man/man1/nvcc.1
# 查看 cuda 编译器工具的版本信息
$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Sat_Aug_25_21:08:01_CDT_2018
Cuda compilation tools, release 10.0, V10.0.130
# 查看 cuda 编译器工具的版本信息
nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2018 NVIDIA Corporation
Built on Sat_Aug_25_21:08:01_CDT_2018
Cuda compilation tools, release 10.0, V10.0.130

可以看到安装的 cuda 版本是 10.0.130

nvidia-smi

nvidia-smi (NVIDIA System Management Interface) 是一种命令行实用工具,帮助管理和监控 NVIDIA GPU 设备。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
$ nvidia-smi
Wed May 26 11:14:18 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.73.01 Driver Version: 460.73.01 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla V100-PCIE... Off | 00000000:3B:00.0 Off | 0 |
| N/A 22C P0 33W / 250W | 0MiB / 32510MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
| 1 GeForce GTX TIT... Off | 00000000:AF:00.0 Off | N/A |
| 20% 29C P0 70W / 250W | 0MiB / 12212MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
| 2 GeForce GTX TIT... Off | 00000000:D8:00.0 Off | N/A |
| 20% 26C P0 64W / 250W | 0MiB / 12212MiB | 2% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+

显示参数解释:

  1. Wed May 26 11:14:18 2021 :表示命令运行时间,也是指代 GPU 运行情况的具体时间
  2. NVIDIA-SMI 460.73.01 Driver Version: 460.73.01 CUDA Version: 11.2 :表示安装的 cuda 驱动器版本和 cuda 版本
  3. GPU :表示 GPU 编号,从0开始
  4. Fan :表示 GPU 风扇转速,0-100%,当为 N/A 时表示设备不依赖风扇降温
  5. Name :表示 GPU 名称
  6. Temp :表示 GPU 当前运行温度
  7. Perf :表示 GPU 性能状态,P0 ~ P12,P0 表示性能最大(一般 GPU 未使用状态性能,当使用时性能降低),P12 表示性能最小
  8. Persistence-M :表示持续模式的状态,默认关闭。持续模式打开,当新的 GPU 应用启动时,花费时间更少。但持续模式打开耗能大
  9. Pwr:Usage/Cap :表示 GPU 能耗情况,包括当前消耗功率和最大功率
  10. Bus-Id :表示 GPU 总线信息
  11. Disp.A :表示 Display Active 的意思,表示GPU的显示是否初始化
  12. Memory-Usage :表示 GPU 显存情况,包括当前消耗显存以及最大显存
  13. GPU-Util :表示 GPU 的利用率,当 GPU 没有使用时,显示 0%,当 GPU 使用时,显示大于 0%
  14. Volatile Uncorr. ECC :ECC (error correcting code, 错误检查和纠正) 该功能可以提高数据的正确性,随之而来的是可用显存的减少和性能上的损失。
  15. Compute M. :表示 GPU 计算模式
  16. MIG M. : Multi-Instance GPU (MIG) 模式,创建基于 MIG 的 vGPU 实例需要将 GPU 切换到 MIG 模式,此配置为持久配置,只需执行一次,重启服务器后仍然有效: nvidia-smi -mig 1
  17. Processes :表示使用 GPU 的进程信息

cuda 版本号不一致?

细心的同志会发现使用 nvcc -V 和使用 nvidia-smi 查看的 cuda 版本号不一致,这是什么原因呢。

nvcc 是 cuda 编译器,nvidia-smi 是NVIDIA System Management Interface,一种命令行工具。nvcc -V 显示的 cuda 版本对应 runtime api (运行时),nvidia-smi 对应 driver api;nvcc 是通过 cuda-toolkit 安装,nvidia-smi 是通过 nvidia drivers 安装;nvcc 只知道自身构建时的 cuda runtime 版本,不知道安装的 nvidia drivers 版本,甚至不知道服务器上是否安装了 GPU driver.

通常,driver api 的版本能向下兼容 runtime api 的版本。因此,当 nvidia-smi 显示的 cuda 版本大于 nvcc -V 显示的 cuda 版本时一般是没有问题的,但是反过来小于就不行。

pytorch 安装基于哪个 cuda 版本?

在 pytorch 官网上可以发现,当使用 conda 安装 pytorch 时,指定的版本信息是 cudatoolkit,如下

1
conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

因此,我们应该选择与 nvcc -V 对应的 cuda 版本来安装 pytorch. 另外,只要大版本对应即可,如 cudatooklit=10.x 对应 Cuda compilation tools, release 10.0, V10.0.130,完全可以使用。

其他 nvidia-smi 参数

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 实时刷新显示
$ nvidia-smi -l
# 每5s刷新一次
$ watch -n 5 nvidia-smi
# 列出所有 GPU 名称
$ nvidia-smi -L
GPU 0: Tesla V100-PCIE-32GB (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
GPU 1: GeForce GTX TITAN X (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
GPU 2: GeForce GTX TITAN X (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
$ nvidia-smi --list-gpus
GPU 0: Tesla V100-PCIE-32GB (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
GPU 1: GeForce GTX TITAN X (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
GPU 2: GeForce GTX TITAN X (UUID: GPU-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx)
# 查看帮助信息
$ nvidia-smi -h
# 把信息写入文件中
$ nvidia-smi -f cuda.log
# 只显示指定序号的GPU
$ nvidia-smi -i 0
# 使用 -q 显示更详细的信息
$ nvidia-smi -q -i 0
$ nvidia-smi -q -i 0 -f gpu1.log
# 以 xml 格式输出信息
$ nvidia-smi -q -x
$ nvidia-smi -q -x -i 0
$ nvidia-smi -q -x -i 0 -f gpu1.log

pytorch 中使用 GPU

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 指定使用的GPU,应放在代码最前面
import os
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1' # 指定使用第1,2块GPU
# 查看 GPU 是否可以使用
import torch
print(torch.cuda.is_available())
> True
# 查看有多少个GPU,注意,当使用 os.environ["CUDA_VISIBLE_DEVICES"] = '0,1' 设定环境后,torch只能发现指定的GPU
torch.cuda.device_count()
> 2
# 查看指定第1个GPU的属性
> _CudaDeviceProperties(name='Tesla V100-PCIE-32GB', major=7, minor=0, total_memory=32510MB, multi_processor_count=80)
# 查看当前GPU
torch.cuda.current_device()
> 0
# 查看第1个GPU的名称
torch.cuda.get_device_name(0)
> 'Tesla V100-PCIE-32GB'
# 查看第1个GPU的算力,与torch.cuda.get_device_properties(0)对应,major=7, minor=0, 表示主算力和次算力,一般只需要看主算力,在NVIDIA官网上有每类GPU算力表
torch.cuda.get_device_capability(0)
> (7, 0)
# 使用某一个GPU
device = torch.device("cuda:0")
# 使用GPU计算
a = torch.randn(10000, 1000)
b = torch.randn(1000, 10000)
device = torch.device('cuda:0')
a = a.to(device)
b = b.to(device)
torch.matmul(a, b)

NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. 错误

不知道什么情况,某次运行命令 nvidia-smi 时报上述错误,考虑可能是更新系统或者按照模型软件导致的,也可能是开关机导致的内核版本与安装驱动时的版本不匹配造成。解决方法如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 查看 nvidia drivers 是否还在
$ whereis nvidia
nvidia: /usr/lib/x86_64-linux-gnu/nvidia /usr/lib/nvidia /usr/share/nvidia /usr/src/nvidia-460.73.01/nvidia

# DKMS(Dynamic Kernel Module Support)维护内核外的驱动程序,内核版本变动之后可以自动重新生成新的模块。
$ sudo apt-get install dkms

# 安装 nvidia drivers 版本 460.73.01,从 whereis nvidia 运行结果中查看
$ sudo dkms install -m nvidia -v 460.73.01

# 如果报错,缺少linux-headers-5.4.0-73-generic或linux-hwe-5.4-headers,需要手动下载这些DEB文件,然后安装,最后在使用dkms安装对应的 nvidia 驱动就可以了
$ sudo dpkg -i linux-hwe-5.4-headers-5.4.0-73_5.4.0-73.82_18.04.1_all.deb
$ sudo dpkg -i linux-headers-5.4.0-73-generic_5.4.0-73.82_18.04.1_amd64.deb

# 或者使用如下方法安装 linux-headers
$ sudo apt update
$ sudo apt install linux-headers-$(uname -r)

# 使用nvidia-smi测试一下,成功后可不用使用下面代码;如果不成功请运行
$ sudo dkms install -m nvidia -v 460.73.01

参考链接

  1. 【CUDA】nvcc和nvidia-smi显示的版本不一致?
  2. nvidia-smi 和 nvcc 结果的版本为何不一致
  3. nvidia-smi查看GPU的使用信息并分析
  4. 实用的 NVIDIA-SMI 查询示例
  5. CUDA之nvidia-smi命令详解
  6. ubuntu关机开机后显卡挂了:报错NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. M…
  7. NVIDIA-SMI系列命令详解(6)-设备修改选项(1)