Baichuan

Baichuan 13B

Name: Baichuan 13B
Rating: 66 (87 reviews)
Author: Baichuan

Legacy

HuggingFace

13.3KDownloads632LikesJul 2023Veröffentlicht8K TokenKontextApache 2.0Lizenz40 BasisQualität

Baichuan 13B (13B parameters) requires approximately 23.4 GB of VRAM with Q5_K_M quantization. For the best balance of quality and speed, we recommend hardware with at least 27 GB of VRAM.

Loslegen

— kopieren & einfügen, um lokal auszuführen

Copy-paste commands to run Baichuan 13B on your machine.

Run

docker run --rm -it ghcr.io/ggerganov/llama.cpp:full \
  --hf-repo "baichuan-inc/Baichuan-13B-Chat" \
  --hf-file "Baichuan-13B-Chat-Q5_K_M.gguf" \
  -c 4096 -ngl 99

Quick specs

Parameters13B

Architecturedense

Context8K tokens

Modalitytext

Min RAM5.1 GB

Rec. RAM9.4 GB (Q5_K_M)

LicenseApache 2.0

FamilyBaichuan

✓ Chat✓ Reasoning

About this model

Baichuan-13B-Chat为Baichuan-13B系列模型中对齐后的版本，预训练模型可见Baichuan-13B-Base。

•更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi...
•同时开源预训练和对齐模型：预训练模型是适用开发者的“基座”，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。
•更高效的推理：为了支持更广大用户的使用，我们本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。
•开源免费可商用：Baichuan-13B 不仅对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，即可以免费商用。

Verwandte Modelle

Schnellauswahl

Bestes BudgetB

Mac mini M4 64GB~$1,099 — 8 tok/s

Beste GesamtwahlA

RTX 5090 32GB~$1,999 — 131 tok/s

Beste Hardware

Top-Empfehlungen für Baichuan 13B

RTX 5090 32GBA

32 GB

AMD Instinct MI100 32GBA

32 GB

RTX PRO 4500 Blackwell 32GBA

Dieses Modell ausführen

Baichuan 13B on RTX 5090 32GB Baichuan 13B on AMD Instinct MI100 32GB Baichuan 13B on RTX PRO 4500 Blackwell 32GB

Quantisierungsoptionen

VRAM-Schätzungen nach Quantisierungsstufe

No hardware detected — fit column shows raw VRAM estimates

Quant	Bits	VRAM	Quality	Fit
Q2_K	2	5.1 GB	Low	—
Q3_K_S	3	6.4 GB	Low	—
NVFP4	4	7.3 GB	Medium	—
Q4_K_M	4	7.9 GB	Medium	—
Q5_K_M	5	9.4 GB	High	—
Q6_K	6	10.7 GB	High	—
Q8_0	8	13.9 GB	Very High	—
F16	16	26.7 GB	Maximum	—

Quality benchmarks

Baichuan 13B benchmark scores

Benchmark verified

Reasoning

MMLU-Pro—

GPQA Diamond—

MATH-500—

ARC Challenge51.6%

Source: community · 2023-07-11

Hardware-Kompatibilität

Eignungsschätzungen für alle Hardware

Rechner öffnen

Computing compatibility...

Speicheraufschlüsselung

Reference: RTX 2060 6GB

Weights9.4 GB

KV Cache12.2 GB

Runtime1.2 GB

Headroom0.6 GB

Häufig gestellte Fragen

FAQ — Baichuan 13B

Siehe auch

Quantisierungsleitfaden Bewertungsmethodik Rechner öffnen