【LLM】トークナイザーのエンコードエラー解決法

LLMのトークナイザーのエンコードエラー

LLMの使用中にトークナイザーのエンコードエラーに遭遇する場合があります。本記事ではこの問題の原因と解決方法を詳しく解説します。

エラーの症状

HuggingFace TransformersのTokenizerで「Token indices sequence length is longer than the specified maximum sequence length」「Unknown token」「UnicodeDecodeError」などのエラーが発生します。

原因

1. 最大長の超過
入力テキストがモデルの最大トークン数を超えている場合です。

2. 特殊文字のエンコードエラー
一部のUnicode文字や制御文字がトークナイザーに対応していない場合です。

3. Slow/Fast Tokenizerの不一致
use_fast=Trueの場合、一部のモデルでは利用できないことがあります。

解決方法

手順1: Truncation の有効化

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("model-name")

# 最大長を超える入力を自動的に切り詰め
tokens = tokenizer(
    text,
    max_length=4096,
    truncation=True,
    padding=True,
    return_tensors="pt"
)

手順2: テキストの前処理

# 制御文字の除去
import re
clean_text = re.sub(r'[\x00-\x08\x0b-\x0c\x0e-\x1f]', '', text)

手順3: Slow Tokenizerへの切り替え

# Fast Tokenizerでエラーが出る場合
tokenizer = AutoTokenizer.from_pretrained("model-name", use_fast=False)

まとめ

本記事で紹介した手順を試すことで、多くの場合問題を解決できます。環境固有の問題が残る場合は、公式ドキュメントやコミュニティフォーラムを参照してください。