【Ollama】OpenAI互換APIモードでのエラー解決法

Ollamaで発生するOpenAI互換APIのエラー

Ollamaを使用中にOpenAI互換APIのエラーに遭遇することがあります。本記事では、原因の特定から解決までを順を追って解説します。

エラーの症状

OllamaのOpenAI互換API（/v1/chat/completions）を使用した際に、モデル名が認識されない、レスポンス形式が期待と異なる、またはツール呼び出しが動作しないエラーが発生します。

原因

1. モデル名の指定方法の違い
OpenAI APIでは「gpt-4」のように指定しますが、OllamaではOllama固有のモデル名（「llama3.1:8b」など）を使用する必要があります。

2. 未対応のパラメータ使用
OpenAI APIの一部パラメータ（logprobs、response_formatの一部など）はOllamaでサポートされていない場合があります。

3. ストリーミング形式の差異
SSE（Server-Sent Events）のフォーマットに微妙な違いがあり、一部のクライアントで問題が発生します。

解決方法

手順1: 正しいエンドポイントとモデル名の指定

# OpenAI互換エンドポイント
curl http://localhost:11434/v1/chat/completions -d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "こんにちは"}]
}'

# Pythonでの使用例（openaiライブラリ）
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 任意の文字列でOK
)

response = client.chat.completions.create(
    model="llama3.1:8b",
    messages=[{"role": "user", "content": "こんにちは"}]
)

手順2: LangChainでの接続設定

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama",
    model="llama3.1:8b",
    temperature=0.7
)

response = llm.invoke("日本語で回答してください。AIの将来について教えてください。")

手順3: 利用可能なモデル一覧の取得

# OpenAI互換のモデル一覧エンドポイント
curl http://localhost:11434/v1/models

# 特定モデルの詳細
curl http://localhost:11434/v1/models/llama3.1:8b

まとめ

OllamaのOpenAI互換APIのエラーは、環境設定やバージョンの不整合が主な原因です。上記の手順で解決できない場合は、公式リポジトリのIssuesを確認してください。