【Ollama】メモリリークが発生する問題の原因と対処法

はじめに

Ollamaの使用中に発生するメモリリークについて、原因の特定から具体的な解決方法まで詳しく解説します。

エラーの症状

Ollamaを長時間運用していると、システムメモリやVRAMの使用量が徐々に増加し、最終的にOOM(Out of Memory)エラーやシステムフリーズが発生します。

主な原因

1. モデルのアンロード設定

デフォルトではOllamaはモデルをメモリに保持し続けます。複数モデルを切り替えると、前のモデルが解放されない場合があります。

2. コンテキストウィンドウの肥大化

長い会話でコンテキストが蓄積すると、メモリ使用量が増加します。

3. 同時リクエストの過負荷

並列リクエストが多すぎると、メモリが逼迫します。

解決方法

手順1: モデルの明示的アンロード

# 使っていないモデルをアンロード
curl -X DELETE http://localhost:11434/api/generate -d '{"model":"llama3.2","keep_alive":0}'

手順2: keep_alive設定の調整

# Modelfileに自動アンロードを設定
PARAMETER keep_alive 5m  # 5分後に自動アンロード

手順3: 定期的なサービス再起動

# cronで毎日深夜に再起動
0 3 * * * systemctl restart ollama

再発防止策

本番環境では監視スクリプトでメモリ使用量を定期的にチェックし、閾値を超えた場合に自動再起動する仕組みを導入しましょう。

まとめ

この記事ではOllamaのメモリリークについて解説しました。同様のエラーで困った際の参考にしてください。