在本机部署大模型

1先弄明白：我们在装什么

只需要理解三样东西的关系，后面每一步都会说得通：

所谓"部署"，就是让播放器指着一个影片文件开着，在本机监听一个网址，例如 http://127.0.0.1:8080/v1。论文助手连的就是这个网址。 127.0.0.1 的意思是只有你这台电脑能访问，隔壁宿舍连不上——这正是我们要的效果。

2判断你的电脑属于哪一种（2 分钟）

先看一眼自己的机器，然后决定走 A 路还是 B 路。

顺带一提：论文助手的「模型服务设置 → 🔌 我的模型服务（自定义）→ ① 本机部署」里 已经写着你本机的实测内存 / 显卡 / 建议上下文，可以拿它对照这张表，不用自己算。

3下载两样东西

第 1 样：推理程序（llama.cpp）

第 2 样：模型权重（.gguf）

4用脚本检查并启动（推荐，不用自己拼命令）

这个脚本只做四件事，不下载任何东西、不修改你的文件、只监听 127.0.0.1：

1. 读你的显卡和内存，算出该用的参数；
2. 检查你填的 exe 和模型路径是否真的存在、配套 dll 齐不齐、模型是不是明显装不进显存；
3. 检查端口有没有被本机别的程序占了；
4. 打印完整启动命令，你确认后就把服务开起来。

4.1 保存并运行

# start-local.ps1 —— 检查硬件与文件，然后启动本机推理服务。不做任何下载。
$ErrorActionPreference = 'Stop'

function Ask-Path($prompt) { (Read-Host $prompt).Trim().Trim('"') }   # 兼容"复制为路径"带来的引号

function Test-Port($p) {
    try { $c = New-Object Net.Sockets.TcpClient; $c.Connect('127.0.0.1', $p); $c.Close(); return $true }
    catch { return $false }
}

Write-Host ''
Write-Host '== 本地推理服务启动助手 ==' -ForegroundColor Cyan

# 1) 读硬件
$os = Get-CimInstance Win32_OperatingSystem
$ramGB = [math]::Round($os.TotalVisibleMemorySize / 1MB, 1)

$vramGB = 0
$gpuName = ''
$nvsmi = Get-Command nvidia-smi -ErrorAction SilentlyContinue
if ($nvsmi) {
    $nv = & $nvsmi.Source --query-gpu=name,memory.total --format=csv,noheader,nounits 2>$null
    if ($LASTEXITCODE -eq 0 -and $nv) {
        $f = "$($nv | Select-Object -First 1)" -split ','
        $gpuName = $f[0].Trim()
        $vramGB = [math]::Round([double]$f[1].Trim() / 1024, 1)
    }
}
if (-not $gpuName) {
    $g = Get-CimInstance Win32_VideoController | Select-Object -First 1
    if ($g) { $gpuName = $g.Name }
}
Write-Host ("内存 {0} GB · 显卡 {1} · 显存 {2} GB" -f $ramGB, $gpuName, $vramGB)

$hasGpu = $vramGB -ge 1
$ngl = if ($hasGpu) { 99 } else { 0 }
$ctx = if ($vramGB -ge 12) { 16384 } elseif ($vramGB -ge 6) { 8192 } elseif ($hasGpu) { 4096 } elseif ($ramGB -ge 16) { 4096 } else { 2048 }
Write-Host ("按这台机器建议：-ngl {0} · -c {1}" -f $ngl, $ctx) -ForegroundColor DarkGray

# 2) 检查文件
$exe = Ask-Path 'llama-server.exe 的完整路径（资源管理器里 Shift+右键 exe → 复制为路径）'
$model = Ask-Path '模型 .gguf 的完整路径'
if (-not (Test-Path $exe))   { Write-Host "找不到程序：$exe" -ForegroundColor Red; exit 1 }
if (-not (Test-Path $model)) { Write-Host "找不到模型：$model" -ForegroundColor Red; exit 1 }

$binDir = Split-Path $exe -Parent
if (-not (Get-ChildItem $binDir -Filter 'ggml-*.dll' -File)) {
    Write-Host "这个目录里没有 ggml-*.dll，说明压缩包没有全部解压到一起：$binDir" -ForegroundColor Red
    exit 1
}
if ($hasGpu -and -not (Get-ChildItem $binDir -Filter 'ggml-cuda.dll' -File)) {
    Write-Host '目录里没有 ggml-cuda.dll，这个压缩包其实是 CPU 版；NVIDIA 显卡请改用 win-cuda-x64 那个包。' -ForegroundColor Yellow
}
if ($hasGpu -and -not (Get-ChildItem $binDir -Filter 'cudart64_*.dll' -File)) {
    Write-Host '如果启动时报缺 cudart64_*.dll，把配套的 cudart-llama-bin-win-cuda-*.zip 也解压进这个目录即可；本机已装完整 CUDA 时可以忽略这条。' -ForegroundColor DarkGray
}

$modelGB = [math]::Round((Get-Item $model).Length / 1GB, 1)
Write-Host ("模型 {0} GB" -f $modelGB) -ForegroundColor DarkGray
if ($hasGpu -and $modelGB -gt ($vramGB * 0.85)) {
    Write-Host ("模型比显存（{0} GB）大，多出的层会留在内存执行，速度会明显下降。这是物理限制，不是配置错误。" -f $vramGB) -ForegroundColor Yellow
}
if ((-not $hasGpu) -and $modelGB -gt ($ramGB * 0.6)) {
    Write-Host ("内存只有 {0} GB，模型 {1} GB 加上运行占用很可能不够，建议换更小的模型。" -f $ramGB, $modelGB) -ForegroundColor Yellow
}

# 3) 检查端口：先看 8080 上跑的是不是"已经能用的同一个服务"
$port = 8080
if (Test-Port $port) {
    $isOpenAi = $false
    try {
        $r = Invoke-RestMethod -Uri "http://127.0.0.1:$port/v1/models" -TimeoutSec 5
        if ($r.data) { $isOpenAi = $true }
    } catch {
        $code = 0
        if ($_.Exception.Response) { $code = [int]$_.Exception.Response.StatusCode }
        if ($code -eq 401 -or $code -eq 403) { $isOpenAi = $true }   # 要求密钥，说明是 OpenAI 兼容服务
        elseif ($code -eq 0) { Write-Host '（8080 上那个程序几秒内没回话，可能正忙）' -ForegroundColor DarkGray }
    }

    if ($isOpenAi) {
        Write-Host ''
        Write-Host '127.0.0.1:8080 上已经有一个 OpenAI 兼容服务在跑了 —— 那多半就是你之前起的那个，不用再开第二个。' -ForegroundColor Green
        Write-Host '直接回论文助手：模型服务设置 → 🔌 我的模型服务（自定义）→ ① 本机部署 → 点「检测本机服务」。' -ForegroundColor Green
        Write-Host '想确认是谁在监听这一行端口： netstat -ano | findstr :8080 （最后一列 PID 拿到任务管理器"详细信息"里对名字）' -ForegroundColor DarkGray
        exit 0
    }

    $port = 18080
    Write-Host "127.0.0.1:8080 被本机别的程序占着（它没给出模型清单），本次改用 $port。" -ForegroundColor Yellow
    Write-Host '  Docker / WSL 经常成段转发 8080、8081，所以这里跳到一个明显不在它们区间里的端口。' -ForegroundColor DarkGray
}

# 4) 组装并执行
$argList = @('-m', $model, '--host', '127.0.0.1', '--port', "$port", '-ngl', "$ngl", '-c', "$ctx", '--jinja')

$key = Read-Host '要不要给服务加访问密钥？直接回车=不加（只监听本机时通常不用加）'
if ($key) { $argList += @('--api-key', $key.Trim()) }   # 只用于本次运行，不会写进脚本文件

Write-Host ''
Write-Host ('即将执行： llama-server.exe ' + ($argList -join ' ')) -ForegroundColor Green
Write-Host '这个窗口就是服务本身，要一直开着；关掉窗口 = 服务停止。' -ForegroundColor DarkGray
if ((Read-Host '现在开始吗？(Y/n)') -match '^[nN]') { exit 0 }

Set-Location $binDir
& $exe @argList

4.2 想自己敲命令也行（不用脚本）

必须在 llama-server.exe 所在目录里执行，否则同目录的 ggml-*.dll 加载不了：

cd D:\llm\bin

.\llama-server.exe `
  -m "D:\llm\models\Qwen3-8B-Q4_K_M.gguf" `
  --host 127.0.0.1 `
  --port 8080 `
  -ngl 99 `
  -c 8192 `
  --jinja

三个参数记这点就够：-ngl 99 = 能放显存的全放显存（没有独显就写 -ngl 0）； -c = 一次能看多少内容；--jinja = 打开工具调用能力，模型本身不支持时它也不报错、只是用不上。

4.3 验证服务活着

另开一个 PowerShell 窗口（原来那个是服务，别关）：

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models

5不想碰命令行：用带图形界面的工具

Ollama 和 LM Studio 会把"下模型 + 起服务"都替你点掉，最省事，代价是模型和参数不如 llama-server 可控。 这三个工具选一个就够，不要同时装一堆再互相排查。论文助手连它们的方式完全一样。

Ollama 命令行最简

LM Studio 有图形界面

netstat -ano | findstr :8080

6回论文助手里连上它

7连不上时，三种提示分别是什么意思

还有一条通用排查顺序：先在浏览器或 curl 里确认 http://127.0.0.1:端口/v1/models 能返回 JSON，再回论文助手点检测。 网页上都连不通，应用里一定也连不通，问题在服务那边。

8安全与隐私（请务必看完）

• 只监听 127.0.0.1。上面的命令和脚本都写死了本机地址。 不要为了"方便手机访问"把它改成 0.0.0.0 暴露到公网或校园网—— OpenAI 兼容接口默认无鉴权，同网段任何人都能拿它跑你的模型、塞任意提示词。
• 确实需要远程访问，请用 Tailscale 一类的虚拟组网，或反向代理加 HTTPS 并配鉴权与轮换密钥。
• 论文助手保存的密钥只写在你本机的 api_settings.json 里。 不要把 Key 写进会提交的脚本文件，也不要在教程、截图、群里贴出来。 脚本里的 Key 是用时现问、只留在内存里，不落盘。
• 不要连接别人给你的公网 OpenAI 兼容地址，除非你能确认它的鉴权、日志和数据留存策略。 把论文内容发给一个来路不明的接口，等同于把论文发到网上。
• 本应用不会启动、下载、接管任何推理进程。模型进程退出、崩溃、端口没开， 应用只会告诉你"连不上"，不会替你重启或修改你的服务。

9常见问题

很慢 / 一直超时

首次载入权重和建 CUDA graph 很慢，大模型可达数分钟，之后会快很多。 持续很慢通常是显存装不下、多出的层留在内存逐层执行——这属于物理限制， 真正有效的只有两件事：换更小的模型、把 -c 调小， 再顺手关掉占显存的程序（开了硬加速的浏览器、游戏、其它推理工具）。

输出乱码 / 反复说同一句话

本地端点的默认采样温度经常偏高。把温度控制在 0.3–0.7 （llama-server 加 --temp 0.5，Ollama 在 Modelfile 里写 PARAMETER temperature 0.5）， 或换一个量化更保守的文件。如果你在用低比特模型，还要先确认没踩到 进阶页第 1 节写的格式坑。

上下文到底该设多大

上下文越大，显存/内存占用越高（KV 缓存按 token 线性增长），并不会更快。 按第 2 节表格的建议起步就行。真的超窗时，论文助手会读到端点上报的真实窗口并自动收紧重试， 同时提示你调大 -c 或改用平台托管模型。

为什么论文助手里的某些功能在这个模型下用不了

取决于模型本身，不是软件坏了。想要工具调用 / 图片输入 / 更强的长文能力， 就选带 agent 能力的模型（如 Qwen3 系列）并确保加 --jinja； 小尺寸模型基本只能做纯文本改写与摘要。

关掉服务、重启电脑之后，还要重新配置吗

不用。论文助手里的服务配置会一直留着，你只需要重新把服务起起来（再跑一次脚本）， 然后回设置页点「检测本机服务」，或者直接切到那个已登记的服务。

能不能只试一次，看看效果再决定

可以。按 B 路下最小的 1.7B（约 1.2 GB）+ CPU 包（几十 MB），跑通一遍流程只要十几分钟， 不喜欢就删掉 D:\llm，系统里不会留下任何服务或后台进程。

10进阶与更多模型

本页教的是最普通的两种电脑 + 标准 GGUF 模型。显存不大却想要更大参数量的话，可以看低比特模型； 后续新增值得推荐的开源本地模型（新的量化格式、新的小显存友好模型）会一页一个持续加进这个系列， 不需要你重装论文助手。

• 进阶：部署 Bonsai 2 27B（小显存跑大参数）