进阶：部署 Bonsai 2 27B

1 · 动手前必须知道的三件事

一张表看懂文件后缀

2 · 先看这台机器跑不跑得动 27B

27B 的权重就要 6–7 GB，加上上下文缓存和运行开销，下载之前先算这一笔， 比下完 7 GB 才发现跑不动要划算得多。官方给的峰值内存估算（权重 + 激活 + FP16 KV 缓存 + 约 1.2 GB 运行缓冲，纯文本； 要图片能力再加约 0.9 GB 的视觉投影器）：

27B 档的 FP16 KV 缓存约 64 KiB/token（10 万 token 约 6.3 GB），所以 -c 定多高， 直接决定你要不要再多花几 GB 内存。

3 · 下构建包

发布标签 prism-b10743-adfffbe。Windows x64 的包与体积（请以发布页当前数值为准）：

该拿哪个包，只看这一条命令的输出：nvidia-smi（不带任何参数）。表头 CUDA Version: x.y 是驱动支持上限，它常常低于你装的 CUDA 工具链版本，以它为准选包就行。 完全读不到 nvidia-smi（没有 NVIDIA 显卡或驱动异常）才会落到 HIP / Vulkan / CPU。

4 · 下权重

仓库：https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf。 这一档有两个文件必须一起拿：主权重（PQ2_0 约 7.2 GB，或 PTQ1_0 约 6.0 GB） 和视觉投影器 mmproj（Q8_0，约 0.6 GB——没有它就只剩文本能力）。

# 文件名用通配，避免手写错具体后缀；多个 pattern 之间用空格分隔
hf download prism-ml/Ternary-Bonsai-2-27B-gguf --include "*PQ2_0.gguf" "*mmproj*Q8_0.gguf" --local-dir D:\llm\models\bonsai2-27b

hf 命令随 pip install -U huggingface_hub 一起来；国内网络先设镜像 $env:HF_ENDPOINT = "https://hf-mirror.com"，或者直接在网页上手动下这两个文件，效果一样。 不要整仓库拉——一个仓库里躺着十几个量化版本，全拉是几十 GB。

5 · 启动

# 解压后：llama-server.exe 要和 ggml-*.dll、cudart64_*.dll 放在同一目录
cd D:\llm\bin\bonsai-cuda

.\llama-server.exe `
  -m "D:\llm\models\bonsai2-27b\Ternary-Bonsai-2-27B-PQ2_0.gguf" `
  --host 127.0.0.1 `
  --port 18080 `
  -ngl 99 `
  -fa on `
  -c 16384 `
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.05 `
  --jinja `
  --mmproj "D:\llm\models\bonsai2-27b\mmproj-Ternary-Bonsai-2-27B-Q8_0.gguf"

• 只有 27B 加 --jinja：官方脚本只给 27B 开了 --jinja，也就是只有它有原生工具调用； 其余尺寸保持 --temp 0.5 --top-p 0.85 --top-k 20 --min-p 0 并关掉思考输出 （--reasoning-budget 0 --reasoning-format none --chat-template-kwargs {"enable_thinking": false}）。 在 PowerShell 里传 --chat-template-kwargs 要用 Start-Process -ArgumentList 数组， 否则内层引号会被吃掉。
• --mmproj 的文件名以你实际下到的为准，上面只是常见写法。
• 不是 CUDA/HIP 构建时再加 --image-max-tokens 1024：大图在这类后端上预填充要几分钟， 官方默认给图片 token 设了上限。
• 上下文按内存分层取（官方脚本的默认口径）：内存 ≤11 GB → -c 8192；≤23 GB → 16384； ≤35 GB → 32768；≤71 GB → 65536；再往上 27B 可到 131072。不要用 -c 0 （那会取模型训练时的全长，直接把内存撑爆）。
• 端口这里写 18080：8080 太容易被本机别的程序（尤其是 Docker / WSL 的端口转发）占走， 占了还看不出来。用哪个端口都行，但论文助手里填的地址要跟着一致。
• 运行目录必须能找到 dll：在该目录里执行 llama-server.exe，或者把这个目录加进 PATH。
• 首次很慢：载入权重 + 建 CUDA graph，27B 可达数分钟，这期间所有请求都会超时。窗口停住别关。

6 · 验证与接回论文助手

7 · 许可与来源

本页只提供官方链接：模型权重在 Hugging Face（prism-ml 组织）， 推理构建在 PrismML 的 llama.cpp 仓库 GitHub Releases，示例脚本来自 PrismML-Eng/Bonsai-demo。论文助手不下载、不缓存、不转发任何第三方权重或二进制， 也不自建镜像——分发与许可以各上游仓库的 LICENSE 为准，需要二次分发请先自行确认。