Fusion-in-Decoder

بنية لاسترجاع المعلومات والإجابة عن الأسئلة تُرمِّز كل مقطع مُسترجَع بشكل مستقل مع السؤال باستخدام مرمِّز T5، ثم تدمج جميع التمثيلات المُرمَّزة وتُمرّرها إلى المفكِّك الذي يُطبّق الانتباه المتقاطع على كل المقاطع مجتمعةً لتوليد الإجابة.

An architecture for retrieval-augmented question answering that encodes each retrieved passage independently with the question using a T5 encoder, then concatenates all encoded representations and passes them to the decoder, which cross-attends to all passages jointly to generate the answer.