SRAM
الذاكرة الساكنة
ذاكرة الوصول العشوائي الساكنة — ذاكرة صغيرة لكن سريعة جداً على شريحة المعالج الرسومي (مثلاً 20 ميغابايت في A100). خوارزمية مامبا الواعية بالعتاد تجري المسح بالكامل في SRAM لتجنّب الوصول البطيء إلى HBM.
Static Random-Access Memory — small but very fast on-chip memory on GPUs (e.g. 20MB on A100). Mamba's hardware-aware algorithm performs the entire scan in SRAM to avoid slow HBM access.
Also translated asالذاكرة المشتركة على الشريحة، ذاكرة SRAM، ذاكرة الشريحة السريعة، ذاكرة الوصول العشوائي الساكنة
First appears in this corpus in: FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (2022)
Appears in these papers
- FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning2023in the sky ✦
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness2022in the sky ✦
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness2022in the sky ✦
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces2023in the sky ✦