Will It Run AI

MistralMistral

Magistral Small 2507

Legacy
huggingfaceHuggingFaceollamaOllama
1.7KDescargas104Me gustaJul 2025Publicado131K tokensContextoApache 2.0Licencia96 ExcepcionalCalidad

Magistral Small 2507 (24B parameters) requires approximately 18.9 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 22 GB of VRAM.

Comenzar

— copia y pega para ejecutar en local

Copy-paste commands to run Magistral Small 2507 on your machine.

Run

ollama run magistral

Quick specs

Parameters24B
Architecturedense
Context131K tokens
Modalitytext
Min RAM9.4 GB
Rec. RAM14.6 GB (Q4_K_M)
LicenseApache 2.0
FamilyMagistral
✓ Chat✓ Reasoning

About this model

Construido sobre Mistral Small 3.1 (2503) con capacidades de razonamiento añadidas. Con SFT a partir de trazas de Magistral Medium y RL encima, es un modelo de razonamiento pequeño y eficiente con 24B de parámetros.

  • •Reasoning:: Capable of long chains of reasoning traces before providing an answer
  • •Multilingual:: Supports dozens of languages, including English, French, German, Greek, Hindi, Indonesian, Italian, Japanese, Korean, Malay,...
  • •Apache 2.0 License:: Open license allowing usage and modification for both commercial and non-commercial purposes
  • •Context Window:: A 128k context window, but performance might degrade past 40k. Hence we recommend setting the maximum model length to 40k

Modelos relacionados

Tu hardware

Detectando...

Selecciones rápidas

Intel
Mejor económicoS
Intel Arc Pro B60 24GB~$599 — 18 tok/s
NVIDIA
Mejor en generalS
RTX 5090 32GB~$1,999 — 88 tok/s

Mejor hardware

Mejores opciones para Magistral Small 2507

NVIDIA
RTX 5090 32GBS
32 GB
NVIDIA
RTX PRO 4500 Blackwell 32GBS
32 GB
AMD Instinct MI100 32GBS
32 GB
NVIDIA
NVIDIA V100 32GBS
32 GB
NVIDIA
NVIDIA A100 40GBS
40 GB

Ejecutar este modelo

Magistral Small 2507 on RTX 5090 32GBMagistral Small 2507 on RTX PRO 4500 Blackwell 32GBMagistral Small 2507 on AMD Instinct MI100 32GB

Opciones de cuantización

Estimaciones de VRAM por nivel de cuantización

No hardware detected — fit column shows raw VRAM estimates

QuantBitsVRAMQualityFit
Q2_K
2
9.4 GB
Low—
Q3_K_S
3
11.8 GB
Low—
NVFP4
4
13.4 GB
Medium—
Q4_K_M
4
14.6 GB
Medium—
Q5_K_M
5
17.3 GB
High—
Q6_K
6
19.7 GB
High—
Q8_0
8
25.7 GB
Very High—
F16
16
49.2 GB
Maximum—

Quality benchmarks

Magistral Small 2507 benchmark scores

Benchmark verified

Reasoning

MMLU-Pro—
GPQA Diamond68.2%
MATH-50095.9%
ARC Challenge—

General

Chatbot Arena—
IFEval87.4%

Source: official · 2025-07-01

Compatibilidad de hardware

Estimaciones de encaje en todo el hardware

Abrir calculadora

Computing compatibility...

Desglose de memoria

Reference: RTX 2060 6GB

Weights14.6 GB
KV Cache2.4 GB
Runtime1.2 GB
Headroom0.6 GB

Preguntas frecuentes

FAQ — Magistral Small 2507

Ver también

Guía de cuantizaciónMetodología de puntuaciónAbrir calculadora