【ONNX Runtime】推論エラーとモデル互換性の解決法

ONNX Runtimeの推論エラーとモデル互換性問題

ONNX Runtimeの使用中に推論エラーとモデル互換性問題に遭遇する場合があります。本記事ではこの問題の原因と解決方法を詳しく解説します。

エラーの症状

ONNX Runtimeでモデルを読み込み・推論する際に「InvalidGraph」「Type mismatch」「Provider not available」などのエラーが発生します。

原因

1. OpSet バージョンの不一致
モデルのOpSetバージョンがONNX Runtimeバージョンでサポートされていない場合です。

2. GPU Providerの未設定
CUDAExecutionProviderが利用できない環境でGPU推論を指定した場合です。

3. 入力テンソルの型不一致
モデルが期待する入力の型（float32/int64等）と異なる型を渡した場合です。

解決方法

手順1: ONNX Runtimeのインストール

# CPU版
pip install onnxruntime

# GPU版
pip install onnxruntime-gpu

手順2: GPU Providerの設定

import onnxruntime as ort

# 利用可能なProviderを確認
print(ort.get_available_providers())

# GPU優先で設定
session = ort.InferenceSession(
    "model.onnx",
    providers=['CUDAExecutionProvider', 'CPUExecutionProvider']
)

手順3: 入力の型を合わせる

# モデルの入力情報を確認
for inp in session.get_inputs():
    print(f"{inp.name}: {inp.type} {inp.shape}")

# numpy配列の型を合わせる
import numpy as np
input_data = np.array(data, dtype=np.float32)

まとめ

本記事で紹介した手順を試すことで、多くの場合問題を解決できます。環境固有の問題が残る場合は、公式ドキュメントやコミュニティフォーラムを参照してください。