我试图监控一个使用CUDA和MPI的进程，有没有办法我可以做到这一点，像命令“顶部”，但也监控GPU ?
当前回答
我发现gpustat非常有用。它可以与pip install gpustat一起安装，并按进程或用户打印使用情况。
其他回答
只需使用watch nvidia-smi，它将默认以2s间隔输出消息。
例如，如下图:
你也可以使用watch -n 5 nvidia-smi (-n 5 by 5s interval)。
我在一台windows机器上用下面的代码创建了一个批处理文件来监视每一秒。这对我很管用。
:loop
cls
"C:\Program Files\NVIDIA Corporation\NVSMI\nvidia-smi"
timeout /T 1
goto loop
如果你只想运行一次命令，NVIDIA -smi exe通常位于“C:\Program Files\NVIDIA Corporation”。
您可以使用监控程序glances及其GPU监控插件:
开源 安装方法:sudo apt-get install -y python-pip;Sudo PIP安装[gpu] 启动:sudo扫视
它还监视CPU、磁盘IO、磁盘空间、网络和其他一些东西:
这可能不够优雅，但你可以尝试一下
while true; do sleep 2; nvidia-smi; done
我也尝试了@Edric的方法，它很有效，但我更喜欢nvidia-smi的原始布局。
我发现gpustat非常有用。它可以与pip install gpustat一起安装，并按进程或用户打印使用情况。
