DualPipe

خوارزمية توازي خط أنابيب تُراكب التمرير الأمامي لدفعة مصغّرة مع التمرير العكسي لدفعة أخرى، وتُخفي اتصال الكل إلى الكل خلف الحوسبة. تُقلّص فقاعات خمول خط الأنابيب وتُحقّق عبء اتصال قريباً من الصفر.

A pipeline parallelism algorithm that overlaps the forward pass of one micro-batch with the backward pass of another, and hides All-to-All communication behind computation. Reduces pipeline bubbles and achieves near-zero communication overhead.