【LLM】推論時のメモリリーク問題の特定と解決法

LLMの推論時のメモリリーク

LLMの使用中に推論時のメモリリークに遭遇する場合があります。本記事ではこの問題の原因と解決方法を詳しく解説します。

エラーの症状

LLM推論サーバーを長時間運用していると、GPUメモリやシステムメモリの使用量が徐々に増加し、最終的にOOMエラーで停止する問題です。

原因

1. KVキャッシュの蓄積
推論リクエストごとにKVキャッシュが蓄積し、解放されない場合があります。

2. PyTorchのメモリキャッシュ
PyTorchはパフォーマンスのためにGPUメモリをキャッシュしますが、これが過剰に蓄積することがあります。

3. Pythonオブジェクトの循環参照
PythonのGCが循環参照を正しく処理できない場合にメモリが解放されません。

解決方法

手順1: 明示的なメモリ解放

import torch
import gc

def cleanup_memory():
    gc.collect()
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
        torch.cuda.synchronize()

# 各推論の後に呼び出す
result = model.generate(**inputs)
cleanup_memory()

手順2: メモリ使用量の監視

# GPU メモリ使用量のログ
def log_memory():
    allocated = torch.cuda.memory_allocated() / 1024**3
    reserved = torch.cuda.memory_reserved() / 1024**3
    print(f"Allocated: {allocated:.2f}GB, Reserved: {reserved:.2f}GB")

手順3: 推論サーバーの設定

# vLLMの場合、gpu_memory_utilizationで上限設定
python -m vllm.entrypoints.openai.api_server \
    --model model-name \
    --gpu-memory-utilization 0.85

まとめ

本記事で紹介した手順を試すことで、多くの場合問題を解決できます。環境固有の問題が残る場合は、公式ドキュメントやコミュニティフォーラムを参照してください。