جملة عبر رأس انتباه
قطِّع جملة إلى رموز، ومثِّلها، وشاهد رأس انتباه واحداً يوازن كل كلمة مع سواها — مع قرص لدرجة الحرارة.
| الطاهي | يبقي | العمل | على | الطاولة | |
|---|---|---|---|---|---|
| الطاهي | |||||
| يبقي | |||||
| العمل | |||||
| على | |||||
| الطاولة |
ناتج «الطاهي» = مجموع موزون لكل الرموز؛ أعلى وزن يذهب إلى «الطاهي». اخفض الحرارة لتحدّ التركيز، وارفعها لتوزّعه.
الرأس يأتي من بهداناو وزملائه، 2014 — شاهدها في السماء ✦
الصيغة النقطية الموزونة: Attention Is All You Need، 2017 — شاهدها في السماء ✦