Language-Guided Query Selection

آلية تنتقي رموز الصورة الأكثر صلة بالنص المُدخَل لتصبح استعلامات مفكِّك الشفرة. يُحسب الجداء النقطي بين كل رمز صورة وكل رمز نص، ثم تُختار أعلى القيم.

A mechanism that selects the image tokens most relevant to the input text to become decoder queries. Computes the dot product between every image token and every text token, then picks the top-scoring ones.