以下是 NVIDIA GPU 命令行监控工具的完整汇总，涵盖 功能对比、安装方式、典型使用命令 和 适用场景，便于你根据需求快速选择和上手。

一、主流 NVIDIA GPU 命令行监控工具对比

✅ = 支持；❌ = 不支持或有限支持

️ 二、各工具安装与使用示例

1.nvidia-smi（最基础、最通用）

• 安装：无需安装，只要装了 NVIDIA 驱动即可。
• 常用命令：
• nvidia-smi # 单次快照
• nvidia-smi -l 2 # 每2秒刷新
• nvidia-smi -q # 查询详细信息（可配合 -d 筛选）
• nvidia-smi dmon # 轻量滚动监控（列式输出，适合日志）
• nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv

2.nvitop（推荐！开发者首选）

• 安装：
• pip install nvitop
• 使用：
• nvitop # 交互式界面（类似 htop）
• nvitop -m auto # 自适应终端宽度
• nvitop -d 0.5 # 刷新间隔 0.5 秒
• 特点：彩色高亮、进程树显示、支持鼠标点击（部分终端）可作为 Python 库调用：from nvitop import Device

3.nvtop（C++ 编写，轻快）

• 安装（Ubuntu/Debian）：
• sudo apt update && sudo apt install nvtop
• 其他系统需从源码编译（见 GitHub）
• 使用：
• nvtop
• 特点：启动快、资源占用低显示 GPU、显存、编码器/解码器利用率

4.gpustat（简洁脚本化）

• 安装：
• pip install gpustat
• 使用：
• gpustat -i 3 # 每3秒刷新
• gpustat --json # 输出 JSON（便于程序解析）
• gpustat -cpu # 同时显示 CPU 负载（需 psutil）
• 适合：写监控脚本、集成到日志系统或 Web 后端

5.dcgmi（企业级监控）

• 安装（Ubuntu 示例）：
• wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb
• sudo dpkg -i cuda-keyring_1.0-1_all.deb
• sudo apt update
• sudo apt install datacenter-gpu-manager
• sudo systemctl start dcgm
• 使用：
• dcgmi discovery -l # 列出所有 GPU
• dcgmi stats -e 1 # 启用统计收集
• dcgmi dmon -e 1001,1002,1003,1004 # 监控核心指标（GPU 使用率、显存、温度、功耗）
• 优势：支持健康检查、策略告警、遥测导出可对接 Prometheus（通过 DCGM Exporter）

三、如何选择？

补充资源

• NVIDIA 驱动下载：https://www.nvidia.com/Download/index.aspx
• DCGM 安装指南：https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-quick-start-guide/index.html
• nvitop vs nvtop 对比视频/截图：可参考各自 GitHub README