【LLM】QLoRA実行時のbitsandbytesエラー解決法

LLMのbitsandbytesエラー

LLMの使用中にbitsandbytesエラーに遭遇する場合があります。本記事ではこの問題の原因と解決方法を詳しく解説します。

エラーの症状

QLoRAを使用するためにbitsandbytesをインストール・実行した際に、「CUDA Setup failed」「libcublas not found」「bitsandbytes is not supported on Windows」などのエラーが発生します。

原因

1. bitsandbytesのCUDA互換性
インストールされたbitsandbytesとシステムのCUDAバージョンが一致しない場合です。

2. Windows環境の制限
bitsandbytesの公式版はLinux専用です。Windows版は別途対応が必要です。

3. ライブラリパスの問題
CUDA共有ライブラリが検索パスに含まれていない場合です。

解決方法

手順1: Linux環境でのインストール

# CUDA 12.x対応版
pip install bitsandbytes>=0.43.0

# 動作確認
python -c "import bitsandbytes; print(bitsandbytes.__version__)"

手順2: Windows環境での対応

# Windows対応版（bitsandbytes-windows）
pip install bitsandbytes-windows

# またはWSL2を使用（推奨）
wsl
pip install bitsandbytes

手順3: CUDAパスの設定

# LD_LIBRARY_PATHにCUDAライブラリを追加
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

# bitsandbytesのCUDA設定を確認
python -m bitsandbytes

まとめ

本記事で紹介した手順を試すことで、多くの場合問題を解決できます。環境固有の問題が残る場合は、公式ドキュメントやコミュニティフォーラムを参照してください。