Baichuan
Baichuan 13B
レガシー
13.3Kダウンロード632いいねJul 2023公開日8K トークンコンテキストApache 2.0ライセンス40 基本品質
Baichuan 13B (13B parameters) requires approximately 23.4 GB of VRAM with Q5_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 27 GB of VRAM.
はじめに
— コピー&ペーストでローカル実行Copy-paste commands to run Baichuan 13B on your machine.
Run
docker run --rm -it ghcr.io/ggerganov/llama.cpp:full \
--hf-repo "baichuan-inc/Baichuan-13B-Chat" \
--hf-file "Baichuan-13B-Chat-Q5_K_M.gguf" \
-c 4096 -ngl 99Quick specs
Parameters13B
Architecturedense
Context8K tokens
Modalitytext
Min RAM5.1 GB
Rec. RAM9.4 GB (Q5_K_M)
LicenseApache 2.0
FamilyBaichuan
✓ Chat✓ Reasoning
About this model
- •更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi...
- •同时开源预训练和对齐模型：预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。
- •更高效的推理：为了支持更广大用户的使用，我们本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。
- •开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。
関連モデル
おすすめ
最適なハードウェア
Baichuan 13Bのおすすめ
このモデルを実行
量子化オプション
量子化レベル別VRAM推定値
No hardware detected — fit column shows raw VRAM estimates
| Quant | Bits | VRAM | Quality | Fit |
|---|---|---|---|---|
Q2_K | 2 | 5.1 GB | Low | — |
Q3_K_S | 3 | 6.4 GB | Low | — |
NVFP4 | 4 | 7.3 GB | Medium | — |
Q4_K_M | 4 | 7.9 GB | Medium | — |
Q5_K_M | 5 | 9.4 GB | High | — |
Q6_K | 6 | 10.7 GB | High | — |
Q8_0 | 8 | 13.9 GB | Very High | — |
F16 | 16 | 26.7 GB | Maximum | — |
Quality benchmarks
Baichuan 13B benchmark scores
Reasoning
MMLU-Pro—
GPQA Diamond—
MATH-500—
ARC Challenge51.6%
Source: community · 2023-07-11
ハードウェア互換性
全ハードウェアの適合度推定
Computing compatibility...
メモリ内訳
Reference: RTX 2060 6GB
Weights9.4 GB
KV Cache12.2 GB
Runtime1.2 GB
Headroom0.6 GB
よくある質問
FAQ — Baichuan 13B
関連項目