Cohere
Aya Expanse 32B
Atual
Oct 2024Publicado8K tokensContextoCC-BY-NC 4.0Licença16 InicialQualidade
Aya Expanse 32B (32B parameters) requires approximately 23.8 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 28 GB of VRAM.
Comece agora
— copie e cole para rodar localmenteCopy-paste commands to run Aya Expanse 32B on your machine.
Run
ollama run aya-expanse:32bQuick specs
Parameters32B
Architecturedense
Context8K tokens
Modalitytext
Min RAM12.5 GB
Rec. RAM19.5 GB (Q4_K_M)
LicenseCC-BY-NC 4.0
FamilyAya
✓ Chat
About this model
Modelos relacionados
Escolhas rápidas
Melhor hardware
Melhores opções para Aya Expanse 32B
Rodar este modelo
Opções de quantização
Estimativas de VRAM por nível de quantização
No hardware detected — fit column shows raw VRAM estimates
| Quant | Bits | VRAM | Quality | Fit |
|---|---|---|---|---|
Q2_K | 2 | 12.5 GB | Low | — |
Q3_K_S | 3 | 15.7 GB | Low | — |
NVFP4 | 4 | 17.9 GB | Medium | — |
Q4_K_M | 4 | 19.5 GB | Medium | — |
Q5_K_M | 5 | 23.0 GB | High | — |
Q6_K | 6 | 26.2 GB | High | — |
Q8_0 | 8 | 34.2 GB | Very High | — |
F16 | 16 | 65.6 GB | Maximum | — |
Quality benchmarks
Aya Expanse 32B benchmark scores
Reasoning
MMLU-Pro34.8%
GPQA Diamond10.1%
MATH-50015.3%
ARC Challenge—
General
Chatbot Arena—
IFEval73.0%
Source: community · 2024-10-01
Compatibilidade de hardware
Estimativas de compatibilidade para todo o hardware
Computing compatibility...
Detalhamento de memória
Reference: RTX 2060 6GB
Weights19.5 GB
KV Cache2.4 GB
Runtime1.2 GB
Headroom0.6 GB
Perguntas frequentes
FAQ — Aya Expanse 32B
Veja também