ترميز أزواج البايتات (BPE)

خوارزمية ترميز فرعي للكلمات تدمج أكثر أزواج الرموز تكراراً بشكل تكراري حتى الوصول إلى حجم مفردات محدّد. يستخدمها DALL·E لترميز النصوص إلى ما يصل إلى 256 رمزاً من مفردات بحجم 16,384.

A subword tokenization algorithm that iteratively merges the most frequent byte pairs until reaching a target vocabulary size. DALL·E uses it to encode text captions into up to 256 tokens from a vocabulary of 16,384.