RefinedWeb

مجموعة بيانات ويب ضخمة تحتوي على 5 تريليونات رمز إنجليزي، بُنيت بتطبيق تصفية صارمة وإزالة تكرار على بيانات CommonCrawl الخام. أظهرت أن بيانات الويب المُنظّفة جيداً تكافئ المجموعات المُنسَّقة يدوياً.

A massive web dataset of 5 trillion English tokens built by applying stringent filtering and deduplication to raw CommonCrawl data. Demonstrated that well-cleaned web data can match curated corpora.