Will It Run AI

GoogleGoogle

Gemma 2 9B

現行
huggingfaceHuggingFaceollamaOllama
380.9Kダウンロード811いいねJun 2024公開日8K トークンコンテキストGemmaライセンス36 基本品質

Gemma 2 9B (9B parameters) requires approximately 12.4 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 15 GB of VRAM.

はじめに

— コピー&ペーストでローカル実行

Copy-paste commands to run Gemma 2 9B on your machine.

Run

ollama run gemma2

Quick specs

Parameters9B
Architecturedense
Context8K tokens
Modalitytext
Min RAM3.5 GB
Rec. RAM5.5 GB (Q4_K_M)
LicenseGemma
FamilyGemma
✓ Chat

About this model

Gemma 2 9B is Google's mid-size open model built on Gemini research. Features improved reasoning and safety with a novel architecture optimized for efficient inference on consumer hardware.

関連モデル

あなたのハードウェア

検出中...

おすすめ

コスパ最良B
RX 7600 XT 16GB~$329 — 24 tok/s
総合最良A
RX 7900 XT 20GB~$899 — 92 tok/s

最適なハードウェア

Gemma 2 9Bのおすすめ

NVIDIA
RTX 5080 Laptop 16GBA
16 GB
RX 7900 XT 20GBA
20 GB
NVIDIA
RTX A4500 20GBA
20 GB
NVIDIA
RTX 4080 Super 16GBA
16 GB
NVIDIA
RTX 5080 16GBA
16 GB

このモデルを実行

Gemma 2 9B on RTX 5080 Laptop 16GBGemma 2 9B on RX 7900 XT 20GBGemma 2 9B on RTX A4500 20GB

量子化オプション

量子化レベル別VRAM推定値

No hardware detected — fit column shows raw VRAM estimates

QuantBitsVRAMQualityFit
Q2_K
2
3.5 GB
Low—
Q3_K_S
3
4.4 GB
Low—
NVFP4
4
5.0 GB
Medium—
Q4_K_M
4
5.5 GB
Medium—
Q5_K_M
5
6.5 GB
High—
Q6_K
6
7.4 GB
High—
Q8_0
8
9.6 GB
Very High—
F16
16
18.5 GB
Maximum—

Quality benchmarks

Gemma 2 9B benchmark scores

Benchmark verified

Coding

SWE-bench Verified—
HumanEval+64.0%
Aider Polyglot—
LiveCodeBench—

Reasoning

MMLU-Pro47.7%
GPQA Diamond14.8%
MATH-50036.6%
ARC Challenge68.4%

General

Chatbot Arena—
IFEval73.6%

Source: official · 2024-06-27

ハードウェア互換性

全ハードウェアの適合度推定

カリキュレーターを開く

Computing compatibility...

メモリ内訳

Reference: RTX 2060 6GB

Weights5.5 GB
KV Cache5.1 GB
Runtime1.2 GB
Headroom0.6 GB

よくある質問

FAQ — Gemma 2 9B

関連項目

量子化ガイドスコアリングメソドロジーカリキュレーターを開く