نطاق الذاكرة
Memory Bandwidth
السرعة القصوى التي يمكن بها نقل البيانات بين الذاكرة ووحدات المعالجة، وتُقاس عادةً بالتيرابايت في الثانية.
The maximum rate at which data can be transferred between memory and processing units, typically measured in terabytes per second.
تُرجم أيضاًعرض حزمة الذاكرة، معدل نقل البيانات
أول ظهور في هذه المجموعة: ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل (2019)
يظهر في هذه الأوراق
- FlashAttention: انتباه دقيق وسريع وموفِّر للذاكرة بوعي حركة البيانات2022في السماء ✦
- GPTQ: تكميم دقيق بعد التدريب للمحوِّلات التوليدية المُدرَّبة مسبقاً2022في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- Mistral 7B2023في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦
- ZeRO: تحسينات الذاكرة نحو تدريب نماذج بتريليون معامل2019في السماء ✦