ترميز الوحدات الفرعية

نهج لتقسيم النص إلى وحدات أصغر من الكلمات الكاملة لكن أكبر من الحروف المفردة. يشمل أساليب مثل ترميز أزواج البايت (BPE) وWordPiece وFastText character n-grams، ويُتيح التعامل مع الكلمات النادرة والمجهولة.

An approach to splitting text into units smaller than whole words but larger than individual characters. Includes methods like Byte Pair Encoding (BPE), WordPiece, and FastText character n-grams, enabling handling of rare and unseen words.