【Ollama】マルチGPU環境でモデルが分散されない問題の解決法

はじめに

Ollamaの使用中に発生するマルチGPU分散エラーについて、原因の特定から具体的な解決方法まで詳しく解説します。

エラーの症状

複数のGPUを搭載しているにもかかわらず、Ollamaが1つのGPUしか使用せずVRAM不足エラーが発生します。nvidia-smiで確認すると片方のGPUの使用率が0%のままです。

主な原因

1. CUDA_VISIBLE_DEVICES設定の不備

環境変数で使用するGPUが制限されている可能性があります。

2. モデルサイズとGPU割り当て

モデルのパラメータ数に対して、Ollamaの自動分散ロジックが適切に動作していない場合があります。

3. NVLinkの非検出

GPU間の高速通信リンクが認識されていない可能性があります。

解決方法

手順1: 使用可能GPUの確認

# 全GPUの確認
nvidia-smi

# Ollama側の認識確認
OLLAMA_DEBUG=1 ollama run llama3.2

手順2: GPU指定の設定

# 複数GPUを明示的に指定
export CUDA_VISIBLE_DEVICES=0,1
ollama serve

手順3: モデルのGPUレイヤー分散

ModelfileでPARAMETER num_gpu 999を指定すると、可能な限り多くのレイヤーをGPUにオフロードします。

再発防止策

大規模モデルを使う場合は、事前にVRAM消費量を見積もってから実行しましょう。7Bモデルで約4GB、13Bで約8GB、70Bで約40GBが目安です。

まとめ

この記事ではOllamaのマルチGPU分散エラーについて解説しました。同様のエラーで困った際の参考にしてください。