【PyTorch】分散学習(DistributedDataParallel)のエラー解決法

はじめに

PyTorchで発生するDDP エラーの原因と解決法を解説します。

症状

PyTorchのDistributedDataParallel(DDP)を使用した分散学習で、プロセス間の通信エラーやハングアップが発生します。

原因

1. NCCLバックエンドの初期化失敗

GPU間の通信ライブラリNCCLの設定が正しくありません。

2. ポート競合

分散学習のマスターポートが他のプロセスに使用されています。

3. GPU間の通信タイムアウト

大規模モデルの同期に時間がかかりすぎています。

解決方法

手順1: 基本的なDDP設定

import torch.distributed as dist

def setup(rank, world_size):
    os.environ['MASTER_ADDR'] = 'localhost'
    os.environ['MASTER_PORT'] = '12355'
    dist.init_process_group('nccl', rank=rank, world_size=world_size)

# タイムアウト延長
dist.init_process_group(
    'nccl', rank=rank, world_size=world_size,
    timeout=datetime.timedelta(minutes=30)
)

手順2: NCCLデバッグ

export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=ALL
torchrun --nproc_per_node=2 train.py

まとめ

PyTorchのDDP エラーについて解説しました。この記事が問題解決の参考になれば幸いです。