كشف العبارات

عملية إحصائية لاكتشاف التعبيرات متعددة الكلمات (مثل «نيويورك») ودمجها في وحدة لغوية واحدة قبل التدريب، باستخدام مقياس التلازم المشترك.

A statistical process for identifying multi-word expressions (e.g., 'New York') and merging them into single tokens before training, using a co-occurrence score.