Scaling AI Inference Across Multiple GPUs Using NVIDIA TensorRT with Multi-Device Inference Support

NVIDIAは、生成AIの推論ワークロードが単一GPUのメモリや演算能力を超えつつある課題に対応するため、TensorRTにマルチデバイス推論サポートを導入した。これにより、メディア生成パイプラインなどの推論処理を複数のGPUにわたってスケーリングできるようになる。

この要約は Claude (Anthropic) が生成したものです。記事の著作権は配信元（NVIDIA Developer）に帰属します。正確な内容は原文をご確認ください。