赞
踩
在深度学习服务器上,各种模型的训练,需要监控GPU的情况,并且需要根据使用状态来切换不同的GPU上。
有以下四款软件,可以很好的进行GPU状态监控。
一个跨平台工具,用于监控和管理NVIDIA GPU的状态和性能。它支持所有标准的NVIDIA驱动程序支持的Linux发行版以及从WindowsServer 2008 R2开始的64位系统。这个工具通常与CUDA工具包一起安装,是NVIDIA显卡驱动的一部分。
常用命令:watch -n 2 nvidia-smi
一个基于nvidia-smi的命令行工具,用于监控和分析GPU(GPU)的状态和使用情况。简约显示。
安装:
- # 系统包安装
- sudo apt install gpustat
- # 作为python库安装
- pip install gpustat
运行:
- watch -n 1 -c gpustat --color
- # 或者
- gpustat -i
一个专为NVIDIA GPU设计的任务监视器,类似于htop,但提供了更直观的用户界面和更多的进程信息。
- sudo apt install nvtop
- # 安装完毕后直接运行
- nvtop
一款交互式的 NVIDIA GPU 设备性能、资源和进程的实时监测工具。"nvitop" 在实时监控 GPU 设备资源和性能方面具有全方位优势,包括更美观的颜色和更直观的进度条来展示某块 GPU 卡所处进程的 GPU & CPU 内存以及利用率占比 。此外,它还支持树视图、环境变量查看、进程过滤、进程指标监控等多种功能和选项 。因此,可以推断 "nvitop" 是一个高颜值的实时监控工具,专为监控 NVIDIA GPU 设备性能和资源而设计。
安装:
pip install nvitop
运行:三种模式 auto,compact,full
nvitop -m full
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。