Speculative Decoding
فك الترميز التخميني
تسريع توليد النصوص عبر جعل نموذج صغير وسريع يقترح مسودة كلمات ويقوم النموذج العملاق باعتمادها أو تصحيحها فوراً.
Speculative Decoding
Also translated asتسريع التوليد عبر نموذج مساعد صغير، الإنتاج اللغوي الاستباقي الموجه
First appears in this corpus in: GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (2023)
Appears in these papers
- DeepSeek-V3 Technical Report2024in the sky ✦
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints2023in the sky ✦
- Efficient Memory Management for Large Language Model Serving with PagedAttention2023in the sky ✦
- Fast Inference from Transformers via Speculative Decoding2023in the sky ✦