Bartowski

Meta Llama 3.1 8B Instruct

利用可能なデータが限られています — 一部のスペックが不完全または推定値の可能性があります。
0K トークンコンテキストUnknownライセンス5 入門品質

Meta Llama 3.1 8B Instruct (8B parameters) requires approximately 7.6 GB of VRAM with Q4_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 9 GB of VRAM.

Quick specs

Parameters8B
Architecturedense
Context0K tokens
Modalitytext
Min RAM3.1 GB
Rec. RAM4.9 GB (Q4_K_M)
LicenseUnknown
FamilyLlama
Chat

関連モデル

あなたのハードウェア

検出中...

おすすめ

最適なハードウェア

Meta Llama 3.1 8B Instructのおすすめ

このモデルを実行

量子化オプション

量子化レベル別VRAM推定値

No hardware detected — fit column shows raw VRAM estimates

QuantBitsVRAMQualityFit
Q2_K
2
3.1 GB
Low
Q3_K_S
3
3.9 GB
Low
NVFP4
4
4.5 GB
Medium
Q4_K_M
4
4.9 GB
Medium
Q5_K_M
5
5.8 GB
High
Q6_K
6
6.6 GB
High
Q8_0
8
8.6 GB
Very High
F16
16
16.4 GB
Maximum

ハードウェア互換性

全ハードウェアの適合度推定

カリキュレーターを開く

Computing compatibility...

メモリ内訳

Reference: RTX 2060 6GB

Weights4.9 GB
KV Cache0.9 GB
Runtime1.2 GB
Headroom0.6 GB

よくある質問

FAQ — Meta Llama 3.1 8B Instruct

関連項目