BooksCorpus

مدوّنة نصية تحتوي على نحو 7000 كتاب غير منشور استُخدمت في التدريب المسبق لنموذج GPT-1 لتعلّم الاعتماديات اللغوية طويلة المدى.

A text corpus of ~7,000 unpublished books used for GPT-1 pre-training to learn long-range language dependencies.