تجزئة النصوص
Tokenization
عملية تفكيك وتقسيم النص المسترسل إلى وحدات لغوية صغيرة جاهزة للتحويل الرقمي.
Tokenization
تُرجم أيضاًترميز الوحدات اللغوية، تقسيم النص الرقمي
أول ظهور في هذه المجموعة: ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية (1966)
يظهر في هذه الأوراق
- ترجمة الكلمات النادرة آلياً باستخدام وحدات دون الكلمة2016في السماء ✦
- Chronos: تعلُّم لغة السلاسل الزمنية2024في السماء ✦
- تقييم النماذج اللغوية الكبيرة المُدرَّبة على الشيفرات البرمجية2021في السماء ✦
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- ELIZA — برنامج حاسوبي لدراسة التواصل بلُغة طبيعية1966في السماء ✦
- القدرات الناشئة في النماذج اللغوية الكبيرة2022في السماء ✦
- وكيل واحد لكل المهام2022في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- MusicLM: توليد الموسيقى من النص2023في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- سلسلة زمنية تساوي 64 كلمة: التنبؤ طويل المدى باستخدام المحوِّلات2023في السماء ✦
- الكتب المدرسية هي كل ما تحتاجه2023في السماء ✦
- RoBERTa: منهج مُحسَّن بمتانة للتدريب المسبق على غرار BERT2019في السماء ✦
- Toolformer: نماذج اللغة تستطيع تعليم نفسها استخدام الأدوات2023في السماء ✦