نافذة السياق
Context Window
العدد الأقصى من الرموز التي يستطيع النموذج معالجتها في مرة واحدة. FlashAttention مكّن نمو نوافذ السياق من 2 ألف إلى أكثر من 128 ألف رمز.
The maximum number of tokens a model can process at once. FlashAttention enabled context windows to grow from 2K to 128K+ tokens.
تُرجم أيضاًالمدى السياقي المتاح، حجم نافذة المدخلات، طول السياق، نافذة السياق النصي، نطاق الاستيعاب، نطاق السياق
أول ظهور في هذه المجموعة: التمثيلات الموزَّعة للكلمات والعبارات وخاصية التركيب (2013)
يظهر في هذه الأوراق
- تقييم النماذج اللغوية الكبيرة المُدرَّبة على الشيفرات البرمجية2021في السماء ✦
- محوِّل القرار: التعلّم المعزَّز عبر نمذجة التسلسلات2021في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- FlashAttention: انتباه دقيق وسريع وموفِّر للذاكرة بوعي حركة البيانات2022في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- الوكلاء التوليديون: محاكاة تفاعلية للسلوك البشري2023في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- النماذج اللغوية قادرة على التعلّم بأمثلة قليلة2020في السماء ✦
- التقرير التقني لـ GPT-42023في السماء ✦
- HuggingGPT: كيف يقود ChatGPT فريقاً من النماذج المتخصّصة على Hugging Face2023في السماء ✦
- Jukebox: نموذج توليدي للموسيقى2020في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- Mixtral: مزيج الخبراء2024في السماء ✦
- node2vec: تعلُّم سمات قابلة للتوسُّع على الشبكات2016في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- RETRO: تحسين النماذج اللغوية بالاسترجاع من تريليونات الرموز2022في السماء ✦
- RoFormer: محوِّل مُحسَّن بالتضمين الموضعي الدوراني2021في السماء ✦
- قوانين التوسُّع في النماذج اللغوية العصبية2020في السماء ✦
- SWE-bench: هل تستطيع النماذج اللغوية حلّ مشكلات GitHub الحقيقية؟2024في السماء ✦
- التمثيلات الموزَّعة للكلمات والعبارات وخاصية التركيب2013في السماء ✦
- XLNet: تدريب مسبق ذاتي الانحدار مُعمَّم لفهم اللغة2019في السماء ✦