C4

مدوّنة C4

مجموعة بيانات إنجليزية ضخمة بحجم 750 جيجابايت مُستخلصة من Common Crawl بعد تنظيف مكثف (إزالة التكرارات والمحتوى المسيء والنصوص القصيرة). أصبحت معياراً مجتمعياً للتدريب المسبق.

A massive 750 GB English dataset derived from Common Crawl after aggressive cleaning (deduplication, offensive content removal, short text filtering). Became a community standard for pre-training.

Also translated asمدوّنة الويب النظيفة الضخمة، Colossal Clean Crawled Corpus

First appears in this corpus in: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (2019)

Appears in these papers

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer2019 in the sky ✦