Subword Tokenization

نهج لتقسيم النص إلى وحدات أصغر من الكلمات الكاملة لكن أكبر من الحروف المفردة. يشمل أساليب مثل ترميز أزواج البايت (BPE) وWordPiece وFastText character n-grams، ويُتيح التعامل مع الكلمات النادرة والمجهولة.

An approach to splitting text into units smaller than whole words but larger than individual characters. Includes methods like Byte Pair Encoding (BPE), WordPiece, and FastText character n-grams, enabling handling of rare and unseen words.