セットアップガイド

【TabbyAPI】ExLlamaV2/V3バックエンドOpenAI互換APIサーバー構築ガイド

(更新日: 2月 24, 2026) · 9分で読めます · 3 閲覧

1. 問題の概要

ExLlamaV2/V3は、ローカル環境でLLMを高速推論するためのライブラリですが、単体ではOpenAI APIのような標準化されたインターフェースを提供しません。そのため、SillyTavernやOobabooga’s Text Generation Web UI、自作アプリなどからExLlamaV2/V3モデルを利用したい場合、互換性のあるAPIサーバーが必要になります。また、モデルのロード設定やバッチ処理の管理を手動で行うのは煩雑で、エラーの原因となります。

2. 結論

ExLlamaV2/V3の公式かつ推奨されるAPIバックエンドサーバーであるTabbyAPIを導入することで、OpenAI互換のエンドポイントをローカルに構築できます。これにより、様々なクライアントアプリケーションから、高速なExL2/ExL3/GPTQ/FP16形式のモデルをシームレスに利用できるようになります。TabbyAPIは軽量で高速であり、モデルダウンロードや並列バッチ処理などの拡張機能も備えてい��す。

3. 具体的な手順

3.1 環境構築とインストール

まず、Python環境（3.10以上推奨）とGitを準備します。その後、TabbyAPIをクローンしてインストールします。

git clone https://github.com/theroyallab/tabbyAPI.git
cd tabbyAPI
pip install -r requirements.txt

重要: カスタム版のExllamav2 wheelファイルをインストールしている場合は、TabbyAPIのアップデート時にpip install .を使用してください。そうしないと、アップデートのたびにカスタム版が上書きされてしまいます。TabbyAPIは互換性のために最新版のExllamav2を強制します。

3.2 設定ファイルの準備

TabbyAPIの動作はconfig.ymlで制御されます。サンプル設定ファイルをコピーして編集します。

cp config.example.yml config.yml

次に、config.ymlをエディタで開き、モデル設定を変更します。以下はExL2形式モデルを使用する場合の最小構成例です。

# config.yml の一部
model:
  # モデルのパスを指定 (Hugging Faceのキャッシュディレクトリまたはダウンロードしたモデルのローカルパス)
  path: "TheBloke/Mistral-7B-Instruct-v0.1-exl2"
  # またはローカルパス: path: "./models/mistral-7b-instruct-exl2"

  # モデルの形式を指定
  backend: "exllamav2"

  # 使用するGPUを指定 (複数GPUの場合はカンマ区切り)
  gpu_split: "0"

server:
  # サーバーがリッスンするアドレスとポート
  host: "127.0.0.1"
  port: 5000

TabbyAPI Loaderを使用してモデルをロードすることを強くお勧めします。手動でのモデルロードは避けてください。

3.3 サーバーの起動とモデルロード

設定が完了したら、TabbyAPIサーバーを起動します。

python main.py

初回起動時、指定したモデルがローカルにない場合はHugging Faceから自動的にダウンロードが開始されます。起動が成功すると、ターミナルにサーバーが起動した旨のメッセージが表示されます。

3.4 OpenAI互換エンドポイントの使用方法

TabbyAPIサーバーが起動すると、以下のOpenAI互換エンドポイントが利用可能になります。

  • チャット補完: http://127.0.0.1:5000/v1/chat/completions
  • テキスト補完: http://127.0.0.1:5000/v1/completions
  • モデル一覧取得: http://127.0.0.1:5000/v1/models

例えば、cURLを使ってチャット補完をテストするには以下のコマンドを実行します。

curl http://127.0.0.1:5000/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{"role": "user", "content": "こんにちは、自己紹介をしてください。"}],
    "max_tokens": 100
  }'

SillyTavernなどのクライアントでは、API接続設定で「OpenAI」を選択し、API Base URLにhttp://127.0.0.1:5000/v1を指定すれば接続できます。

4. よくある関連エラーと対処法

  • エラー: “No module named ‘exllamav2′” または類似のインポートエラー
    Exllamav2が正しくインストールされていません。pip install exllamav2を実行するか、カスタムwheelを使用している場合はTabbyAPIディレクトリ内でpip install .を実行してください。
  • エラー: モデルのロードに失敗する、またはVRAM不足
    config.ymlのgpu_split設定を確認してください。モデルが大きすぎる場合は、量子化ビット数を下げたExL2モデルを選択するか、gpu_splitで複数GPUに分割する設定を試みます。
  • 問題: 推論速度が遅い
    TabbyAPIと他のラッパー（例: text-generation-webui）の速度は、同じExllamav2バージョンを使用すればほぼ同等です。速度に問題がある場合は、モデルの形式（ExL2が最推奨）、GPUドライバ、CUDAバージョンを確認してください。
  • エラー: クライアントからAPIに接続できない
    サーバーの起動ログを確認し、hostとportが正しく設定されているか、ファイアウォールがポートをブロックしていないかを確認してください。

5. AIを快適に動かすためのおすすめ環境

ローカルLLMや画像生成AIでエラーを減らし、高速に処理するには、VRAM容量が最も重要です。

6. まとめ

TabbyAPIは、高性能なExLlamaV2/V3バックエンドにOpenAI互換のAPIインターフェースを提供する、軽量で公式推奨のソリューションです。設定ファイルconfig.ymlでモデルパスや形式を指定するだけで、ExL2/ExL3/GPTQ/FP16形式のモデルを簡単にロードし、標準化されたエンドポイントを通じて利用できます。これにより、様々なチャットフロントエンドや自作アプリケーションから、ローカル環境の高速LLM推論をシームレスに組み込むことが可能になります。推奨されるExL2形式のモデルと十分なVRAMを備えた環境で使用することで、最も安定した高速な体験を得られるでしょう。

🔧 快適な開発環境のために

本記事の手順をスムーズに進めるために、以下のスペックを推奨します。

APIサーバー ExLlamaV2 OpenAI互換 TabbyAPI
この記事は役に立ちましたか？