Data Parallelism: How to Train Deep Learning Models on Multiple GPUs

نظرة عامة

درّب نماذج التعلّم العميق بسرعة أكبر بتوزيع العمل على عدة معالجات رسومية. ترى كيف يؤثّر حجم الدفعة في الانحدار التدرّجي العشوائي، وتوزّع التدريب باستخدام PyTorch Distributed Data Parallel، وتحافظ على الدقة العالية أثناء التوسّع.

ما ستتعلّمه

المحتوى التقني أدناه معروضٌ باللغة الإنجليزية كما ورد في منهاج الدورة، حفاظاً على دقّة المصطلحات.

• Understand how data parallel deep learning training is performed using multiple GPUs
• Achieve maximum throughput when training, for the best use of multiple GPUs
• Distribute training to multiple GPUs using Pytorch
• Distributed Data Parallel
• Understand and utilize algorithmic considerations specific to multi-GPU training performance and accuracy

المنهاج

لمن هذه الدورة

ممارسو التعلّم العميق الذين يدرّبون نماذج كبيرة ويحتاجون إلى إنتاجية أعلى.

قبل أن تبدأ

• Experience with deep learning training using Python