【ローカルLLM】GGUFモデルのメモリ見積もりと最適な量子化選択

はじめに

ローカルLLMで発生するGGUF量子化選択ガイドの原因と解決法を解説します。

症状

GGUFモデルの量子化レベルの選び方がわからない、またはVRAM不足で適切な量子化を選択する必要がある状況です。

原因

量子化レベル別の目安

モデルサイズとVRAM消費量は量子化レベルで大きく変わります。

解決方法

量子化レベル比較表

7Bモデルの場合の目安：

Q2_K  : ~2.8GB VRAM, 品質低め（非推奨）
Q3_K_M: ~3.3GB VRAM, 最低限の品質
Q4_K_M: ~4.1GB VRAM, コスパ最良（推奨）
Q5_K_M: ~4.8GB VRAM, 高品質
Q6_K  : ~5.5GB VRAM, 準FP16品質
Q8_0  : ~7.2GB VRAM, ほぼ無劣化
FP16  : ~14GB VRAM, 最高品質

VRAM別の推奨設定

8GB VRAM  → 7B Q4_K_M, 13B Q2_K
12GB VRAM → 7B Q6_K, 13B Q4_K_M
16GB VRAM → 7B Q8_0, 13B Q5_K_M, 34B Q3_K_M
24GB VRAM → 13B Q8_0, 34B Q4_K_M, 70B Q2_K

まとめ

ローカルLLMのGGUF量子化選択ガイドについて解説しました。この記事が問題解決の参考になれば幸いです。