Newer
Older
SmTIAS-LightSim / scripts / sample_gpu_util.sh
#!/usr/bin/env bash
# GPU 使用率を一定間隔でサンプリングして CSV に追記する(spp スイープの GPU 率の裏取り用).
# サーバ上で tmux の中から起動する:
#   nohup bash scripts/sample_gpu_util.sh 0 0.5 output/spp_noise_sweep/gpu_util.csv > /dev/null 2>&1 &
# 止めるときは pkill -f sample_gpu_util.sh
set -u
GPU="${1:-0}"
INTERVAL="${2:-0.5}"
OUT="${3:-output/gpu_util.csv}"
mkdir -p "$(dirname "$OUT")"
echo "timestamp,gpu_util,mem_used_mib" >> "$OUT"
while true; do
  line=$(nvidia-smi -i "$GPU" --query-gpu=utilization.gpu,memory.used --format=csv,noheader,nounits 2>/dev/null | tr -d ' ')
  echo "$(date +%s.%N),$line" >> "$OUT"
  sleep "$INTERVAL"
done