【HuggingFace】Transformersでモデルダウンロードが途中で止まる問題の解決法

この記事では、Hugging Face Transformersライブラリでモデルをダウンロードする際に、途中で停止・タイムアウトする問題について、海外コミュニティでの解決策を要約して解説します。

1. どんな問題（エラー）が発生したか？

• 発生した環境やツール： Hugging Face Transformers / huggingface_hub、Python環境
• エラーメッセージ： ConnectionError: HTTPSConnectionPool や ReadTimeoutError
• 症状： from_pretrained()実行時に大容量モデルのダウンロードが数GB地点で停止する

2. 結論（解決策）

ネットワーク設定の調整とhuggingface_hubのダウンロード再開機能を活用することで解決します。

3. 具体的な手順

1. huggingface-cliで直接ダウンロード（推奨）

   pip install -U huggingface_hub
   huggingface-cli download meta-llama/Llama-3-8B --local-dir ./models/llama3

   中断しても再実行すれば途中からリジュームされます。

2. タイムアウト値を延長

   import os
   os.environ['HF_HUB_DOWNLOAD_TIMEOUT'] = '300'

3. プロキシ環境の場合

   export HTTPS_PROXY=http://proxy:port
   export HTTP_PROXY=http://proxy:port

4. ミラーサイトを使用（中国など）

   export HF_ENDPOINT=https://hf-mirror.com

4. 補足・注意点

Gated model（Llama系など）はHugging Faceアカウントでのライセンス同意とアクセストークンの設定が必要です。huggingface-cli loginでトークンを設定してからダウンロードしてください。また、ディスク容量は最低でもモデルサイズの2倍を確保しておくと安全です。

5.
👉 【RunPod】1時間数十円から使える高性能クラウドGPU

参考元

本記事は海外コミュニティの複数のディスカッションを要約・再構成したものです。

Source: Hugging Face Forums