MoCo

إطار تعلّم تبايُني يستخدم مُرمِّز مفاتيح بطيء التحديث (بمتوسط متحرك أُسّي) وطابوراً لتخزين تمثيلات من دفعات سابقة كسلبيات. يفصل عدد السلبيات عن حجم الدفعة.

A contrastive learning framework that uses a slowly-updated key encoder (via exponential moving average) and a queue to store representations from previous batches as negatives. Decouples the number of negatives from batch size.