Row-Parallel Linear

طريقة لتقسيم مصفوفة الأوزان على طول صفوفها عبر عدة وحدات، حيث تتلقى كل وحدة جزءاً من المدخل وتحسب مخرجاً جزئياً يُجمع لاحقاً بعملية تجميع شامل.

A method of splitting a weight matrix along its rows across devices, where each device receives a portion of the input and produces a partial output that is later combined via all-reduce.