تعبئة التسلسلات

تقنية لتسريع التدريب تُدمج فيها تسلسلات بأطوال مختلفة في تسلسل واحد طويل مع قناع انتباه يمنع التفاعل بينها. توفّر الحوسبة المهدورة على الحشو.

A training speedup technique that concatenates sequences of different lengths into one long sequence with an attention mask preventing interaction between them. It saves compute otherwise wasted on padding.