Cohere
Aya Expanse 8B
Atual
39.4KDownloads431CurtidasOct 2024Publicado8K tokensContextoCC-BY-NC-4.0Licença8 InicialQualidade
Aya Expanse 8B (8B parameters) requires approximately 8.3 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 10 GB of VRAM.
Comece agora
— copie e cole para rodar localmenteCopy-paste commands to run Aya Expanse 8B on your machine.
Run
docker run --rm -it ghcr.io/ggerganov/llama.cpp:full \
--hf-repo "CohereForAI/aya-expanse-8b" \
--hf-file "aya-expanse-8b-Q4_K_M.gguf" \
-c 4096 -ngl 99Quick specs
Parameters8B
Architecturedense
Context8K tokens
Modalitytext
Min RAM3.1 GB
Rec. RAM4.9 GB (Q4_K_M)
LicenseCC-BY-NC-4.0
FamilyAya
✓ Chat
About this model
Modelos relacionados
Escolhas rápidas
Melhor hardware
Melhores opções para Aya Expanse 8B
Rodar este modelo
Opções de quantização
Estimativas de VRAM por nível de quantização
No hardware detected — fit column shows raw VRAM estimates
| Quant | Bits | VRAM | Quality | Fit |
|---|---|---|---|---|
Q2_K | 2 | 3.1 GB | Low | — |
Q3_K_S | 3 | 3.9 GB | Low | — |
NVFP4 | 4 | 4.5 GB | Medium | — |
Q4_K_M | 4 | 4.9 GB | Medium | — |
Q5_K_M | 5 | 5.8 GB | High | — |
Q6_K | 6 | 6.6 GB | High | — |
Q8_0 | 8 | 8.6 GB | Very High | — |
F16 | 16 | 16.4 GB | Maximum | — |
Quality benchmarks
Aya Expanse 8B benchmark scores
Reasoning
MMLU-Pro22.3%
GPQA Diamond7.0%
MATH-5008.6%
ARC Challenge—
General
Chatbot Arena—
IFEval63.6%
Source: community · 2025-01-01
Compatibilidade de hardware
Estimativas de compatibilidade para todo o hardware
Computing compatibility...
Detalhamento de memória
Reference: RTX 2060 6GB
Weights4.9 GB
KV Cache2.0 GB
Runtime0.9 GB
Headroom0.6 GB
Perguntas frequentes
FAQ — Aya Expanse 8B
Veja também