Mixedbread AI
mxbai Embed Large
Actual
4.8MDescargas805Me gustaMar 2024Publicado1K tokensContextoApache 2.0Licencia80 FuerteCalidad
mxbai Embed Large (0.33500000834465027B parameters) requires approximately 4.0 GB of VRAM with F16 quantization. For the best balance of quality and speed, we recommend hardware with at least 5 GB of VRAM.
Comenzar
— copia y pega para ejecutar en localCopy-paste commands to run mxbai Embed Large on your machine.
Run
ollama run mxbai-embed-largeQuick specs
Parameters0.34B
Architecturedense
Context1K tokens
Modalityembedding
Min RAM0.1 GB
Rec. RAM0.7 GB (F16)
LicenseApache 2.0
Familymxbai
✓ RAG
About this model
Selecciones rápidas
Mejor hardware
Mejores opciones para mxbai Embed Large
Ejecutar este modelo
Opciones de cuantización
Estimaciones de VRAM por nivel de cuantización
No hardware detected — fit column shows raw VRAM estimates
| Quant | Bits | VRAM | Quality | Fit |
|---|---|---|---|---|
Q2_K | 2 | 0.1 GB | Low | — |
Q3_K_S | 3 | 0.2 GB | Low | — |
NVFP4 | 4 | 0.2 GB | Medium | — |
Q4_K_M | 4 | 0.2 GB | Medium | — |
Q5_K_M | 5 | 0.2 GB | High | — |
Q6_K | 6 | 0.3 GB | High | — |
Q8_0 | 8 | 0.4 GB | Very High | — |
F16 | 16 | 0.7 GB | Maximum | — |
Compatibilidad de hardware
Estimaciones de encaje en todo el hardware
Computing compatibility...
Desglose de memoria
Reference: RTX 2060 6GB
Weights0.7 GB
KV Cache1.5 GB
Runtime1.2 GB
Headroom0.6 GB
Preguntas frecuentes
FAQ — mxbai Embed Large
Ver también