Zhipu

GLM-4 9B

Name: GLM-4 9B
Rating: 71 (185 reviews)
Author: Zhipu

Aktuell

HuggingFace

Ollama

121.4KDownloads706LikesJun 2024Veröffentlicht128K TokenKontextGLMLizenz52 GutQualität

GLM-4 9B (9B parameters) requires approximately 7.9 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 10 GB of VRAM.

Loslegen

— kopieren & einfügen, um lokal auszuführen

Copy-paste commands to run GLM-4 9B on your machine.

Run

ollama run glm4

Quick specs

Parameters9B

Architecturedense

Context128K tokens

Modalitytext

Min RAM3.5 GB

Rec. RAM5.5 GB (Q4_K_M)

LicenseGLM

FamilyGLM

✓ Chat

About this model

2024/11/25, 我们建议使用从 `transformers>=4.46.0` 开始，使用 glm-4-9b-chat-hf 以减少后续 transformers 升级导致的兼容性问题。

Verwandte Modelle

Schnellauswahl

Bestes BudgetA

Intel Arc B570 10GB~$219 — 41 tok/s

Beste GesamtwahlA

RTX 3080 10GB~$699 — 97 tok/s

Beste Hardware

Top-Empfehlungen für GLM-4 9B

Dieses Modell ausführen

GLM-4 9B on RTX 3080 10GB GLM-4 9B on RTX 3080 Ti 12GB GLM-4 9B on RTX 3080 12GB

Quantisierungsoptionen

VRAM-Schätzungen nach Quantisierungsstufe

No hardware detected — fit column shows raw VRAM estimates

Quant	Bits	VRAM	Quality	Fit
Q2_K	2	3.5 GB	Low	—
Q3_K_S	3	4.4 GB	Low	—
NVFP4	4	5.0 GB	Medium	—
Q4_K_M	4	5.5 GB	Medium	—
Q5_K_M	5	6.5 GB	High	—
Q6_K	6	7.4 GB	High	—
Q8_0	8	9.6 GB	Very High	—
F16	16	18.5 GB	Maximum	—

Quality benchmarks

GLM-4 9B benchmark scores

Benchmark verified

Coding

SWE-bench Verified—

HumanEval+71.8%

Aider Polyglot—

LiveCodeBench—

Reasoning

MMLU-Pro72.4%

GPQA Diamond8.5%

MATH-50050.6%

ARC Challenge—

General

Chatbot Arena—

IFEval69.0%

Source: official · 2024-06-06

Hardware-Kompatibilität

Eignungsschätzungen für alle Hardware

Rechner öffnen

Computing compatibility...

Speicheraufschlüsselung

Reference: RTX 2060 6GB

Weights5.5 GB

KV Cache0.6 GB

Runtime1.2 GB

Headroom0.6 GB

Häufig gestellte Fragen

FAQ — GLM-4 9B

Siehe auch

Quantisierungsleitfaden Bewertungsmethodik Rechner öffnen