)
★ FEATURED ARTICLE 文章目录前言一、准备工作 : 硬件摸底与整体规划1、参考机器配置2、磁盘分区规划3、核心结论二、中文写作大模型选型1、量化格式怎么选2、16 GB 内存机器推荐 ( 纯 CPU )3、32 GB 内存机器推荐 ( 含显存加速 )4、参考机器综合推荐清单5、选型建议6、内存预算分配 ( 以 30B MoE 为例 )三、Ollama 部署 : 程序与模型都放 D 盘1、安装 Ollama 到指定目录2、设置模型存放位置3、验证模型是否写入 D 盘4、拉取正式模型 一5、拉取正式模型 二6、验证 GPU 是否被利用7、常用管理命令四、前端界面与进阶方案1、LM Studio ( 图形界面 )2、Open WebUI ( 网页版界面 )3、SillyTavern 加 KoboldCpp ( 严肃长篇创作 )4、商业云端替代方案五、注意事项与避坑总结前言本文完整整理在 Windows 平台本地部署中文写作大模型的落地方案 , 覆盖硬件摸底 ,磁盘规划 ,模型选型 ,Ollama 程序与模型文件的自定义安装位置 ,GPU 加速验证 ,前端界面六大板块 ;所有命令均可直接复制执行 , 全文以一台 i7-8700K 加 32 GB 内存加 GTX 1080 Ti 的参考机器为例 , 你的硬件不同时按比例套用即可 ;一、准备工作 : 硬件摸底与整体规划1、参考机器配置项目检测结果对跑模型的意义CPUIntel i7-8700K , 6 核 12 线程 , 3.7 GHz纯 CPU 推理主力 , 跑 14B 级别没问题内存32 GB , 当前可用约 18.5 GB , 关掉大程序后约 25 GB命中 32 GB 档甜点位 , 可以跑 MoE 30B显卡NVIDIA GTX 1080 Ti , 11 GB 显存 , 驱动 581.63Pascal 架构 , 只支持 GGUF 量化 , 但可给 CPU 分担大量计算磁盘C 盘剩余约 58 GB , D 盘剩余 750 GB单个模型普遍 5 GB 到 19 GB , 建议预留 40 GB 以上关键结论 :参考机器比常见的参考配置 ( i7-10700F 加 16 GB ) 高一档 , 直接命中 32 GB 内存 加 11 GB 显存 双甜点位 ;最大优势在于14B 级别的 Q4 量化模型可以几乎整体塞进 1080 Ti 的 11 GB 显存 ,速度比纯 CPU 快数倍 ;2、磁盘分区规划模型文件体积普遍在 5 GB 到 19 GB , 装在哪块盘必须提前规划 , 迁移一次的成本很高 :推荐盘位 :D 盘剩余 750 GB , 作为程序与模型存放的主战场 ;容量不足 :E 盘仅剩 1.5 GB , 放不下任何完整模型 , 直接淘汰 ;不建议 :Y 盘属于工作盘 , 存放业务数据 , 不建议再装软件 ;路径规范 :路径一律不要包含中文和空格 , 否则部分加载器会解析失败 ;3、核心结论选型逻辑一句话 :写作模型看内存和 CPU , 显存锦上添花 ; 三条结论展开如下 :14B 级别模型 :Q4 量化后约 9 GB ,在 11 GB 显存的机器上可以整体或大部分放入显存 ,速度可达 20 字每秒以上 ;MoE 30B 模型 :32 GB 内存的甜点位 , 激活参数只有 3 B, 纯 CPU 也有 8 到 12 字每秒 ;稠密 20B 以上模型 :内存装得下 , 但纯 CPU 每秒只出一两个字 , 实用性差 , 不建议 ;二、中文写作大模型选型1、量化格式怎么选同样的模型 , 不同的量化版本 , 体积与质量差距巨大 , 三条通用规则 :老显卡认准 GGUF :Pascal 架构不支持 FP8 与 BF16 , 加载会直接报错 ,一律下载 GGUF 量化版本 ;默认推荐 Q4_K_M :体积与质量的最佳平衡点, 低于 Q4 的版本不建议 ;追求更好质量 :Q4_K_XL 通常优于 Q4_K_M , 再往上可选 Q5 或 Q6 , 代价是内存与显存占用同步增加 ;2、16 GB 内存机器推荐 ( 纯 CPU )按可用内存约 10.5 GB 计算 , 量化统一为 Q4_K_M :模型参数量内存占用中文写作速度预期GLM-4-9B-Chat9.4 B6.4 GB五星约 2 字每秒Qwen3-8B8.2 B5.8 GB四星约 2 字每秒dolphin-mistral7.2 B4.8 GB两星约 2.4 字每秒Qwen3-14B14.8 B9 GB四星约 1.5 字每秒Mistral-Nemo-12B12.2 B8.2 GB三星约 2 字每秒3、32 GB 内存机器推荐 ( 含显存加速 )32 GB 内存的甜点位是 MoE 架构模型 , 稠密模型装得下但纯 CPU 跑不动 :模型类型占用中文写作社区版本速度预期Qwen3-30B-A3BMoE 激活 3 B内存约 18.5 GB五星丰富8 到 12 字每秒ERNIE-4.5-21B-A3BMoE 激活 3 B内存约 12.2 GB四星较少8 到 10 字每秒Qwen3-14B稠密显存约 9 GB 可装下四星丰富20 字每秒以上GLM-4-9B稠密显存约 6.4 GB 可装下五星一般15 字每秒左右dolphin-mistral稠密显存约 4.8 GB 可装下两星丰富20 字每秒以上4、参考机器综合推荐清单按优先级排序 , 直接对号入座 :优先级模型量化占用中文写作预期速度说明★★★★★Qwen3-30B-A3BQ4_K_M内存约 18.5 GB★★★★★8 到 12 字每秒MoE 架构 , 参考机器能跑到的最强中文写作模型★★★★★Qwen3-14BQ4_K_M显存约 9 GB 可装下★★★★20 字每秒以上速度与质量最均衡 , 日常写作首选★★★★GLM-4-9B 官方版Q4_K_M约 6.4 GB★★★★★15 字每秒左右中文文笔最好 , 先跑一周再决定是否换★★dolphin-mistralQ4_K_M约 4.8 GB★★★20 字每秒以上海外社区微调版 , 中文能力一般不建议gpt-oss-20b , Mistral-Small-24BQ4_K_M12 GB 到 14 GB★★1 到 2 字每秒稠密 20B 以上 , 纯 CPU 跑不动非官方模型 :优先级模型量化占用中文写作预期速度 ( 本机 )说明★★★★★Qwen3-30B-A3B abliteratedQ4_K_M约 18.5 GB ( 内存 )★★★★★8~12 字/秒MoE 架构 , 本机能拿到的最强中文无审查写作模型★★★★★Qwen3-14B abliteratedQ4_K_M约 9 GB ( 显存可装下 )★★★★20 字/秒( GPU offload )速度快、质量好 , 日常写作首选★★★★GLM-4-9B ( 官方版 )Q4_K_M约 6.4 GB★★★★★15 字/秒左右不是无审查 , 但中文文笔最好 ; 先试它 , 拒答再换上面的★★dolphin-mistralQ4_K_M约 4.8 GB★★20 字/秒原生无审查微调版 , 中文能力一般✗gpt-oss-20b / Mistral-Small-24B 等稠密模型Q4_K_M12~14 GB—1~2 字/秒稠密 20B 纯 CPU 跑不动 , 不建议5、选型建议分场景给出四条明确路线 :追求体验流畅 :11 GB 显存机器首选 Qwen3-14B , 大部分层进显存后 20 字每秒以上, 日常写作最舒服 ;追求质量上限 :32 GB 内存机器直接上 Qwen3-30B-A3B ,这是纯 CPU 也能流畅跑的中文写作天花板 ;追求中文文笔 :GLM-4-9B 的中文文笔目前口碑最好, 显存装得下时速度也可接受 , 可以先从它试起 ;对比验证法 :先用官方版跑一个实际题材 , 若输出符合预期就不必折腾 , 频繁出现拒答或文风不对再换社区版本二次对比 ;6、内存预算分配 ( 以 30B MoE 为例 )25 GB 可用内存的分配方案 :模型权重 :约 18.5 GB ;KV 缓存 :8K 到 16K 上下文约 2 GB 到 3 GB , 长文创作够用 ;系统预留 :约 5 GB , 已计入总内存 32 GB 的盘算 ;核心提醒 :上下文不要拉满 128K, 那会额外多吃 8 GB 以上直接顶爆内存 ,写作场景 上下文 控制在 8K 到 16K 即可 ;三、Ollama 部署 : 程序与模型都放 D 盘1、安装 Ollama 到指定目录Ollama 安装包默认把程序装进 C 盘 , 必须改用命令行方式指定目录 , 关键是不要双击安装包 :1、浏览器访问ollama.com/download, 下载 Windows 版OllamaSetup.exe( 约 1.5G ) , 保存到D:\Ollama;点击 Download manually 链接 , 可以手动下载 OllamaSetup.exe ;下载 OllamaSetup.exe 完毕后 , 运行该安装文件 , 点击 Install 按钮 , 可以直接安装 ,但是这里我们不直接安装 , 先修改一下 安装目录 , C 盘没有位置了 , 不能再往 C 盘安装程序了 ;特别注意 , 在 PowerShell 中 执行irm https://ollama.com/install.ps1|iex命令 , 这是一键安装命令 , 走的是Ollama 默认安装路径 ( C:\Users\用户名\AppData\Local\Programs\Ollama 模型存 C 盘 .ollama ) ,不支持 /DIR 自定义目录 ;2、将 OllamaSetup.exe 拷贝到 D:\Ollama\ 目录下 , 地址栏 输入cmd回车 , 打开命令行 , 执行以下命令 :D:\Ollama\OllamaSetup.exe /DIRD:\Ollama命令行参数解析 :Ollama 的安装包是 Inno Setup 打包的 , 而/DIR 是 Inno Setup 的标准命令行参数 ;“D:\Ollama\OllamaSetup.exe” 参数 :先启动安装包 ;它本身是一个自解压 安装向导程序 , 双击和命令行启动是同一份程序, 区别只在 有没有带参数 ;/DIR“D:\Ollama” 参数 :在启动安装包的同时 , 把一个参数传进去 ;Inno Setup 会读取这个参数 , 把它当作默认安装目录 ,跳过 让用户自己选文件夹 这一步 ;如果是 双击安装 , 则没有这个 /DIR 参数, 安装包就按内置默认值走——也就是 C:\Users\你的用户名\AppData\Local\Programs\Ollama ;执行完上述命令后 , 会自动弹出 OllamaSetup.exe 的 安装界面 ;3、点击 Install 按钮安装 , 安装界面和平时一样点下一步 , 但程序会装到D:\Ollama而不是 C 盘 ;4、安装完成后Ollama 会自动在托盘启动 , 右下角出现小羊驼图标 ;安装完毕后 ,系统会自动将 Ollama 路径设置到 Path 环境变量中 ,在任意目录都可以执行 ollama 命令 ;5、打开一个新的命令行窗口验证安装 :ollama --version输出结果 :MicrosoftWindows[版本10.0.19045.7725](c)MicrosoftCorporation。保留所有权利。D:\Ollamaollama--version ollama versionis0.40.4D:\Ollama原理补充 :Ollama 安装包是 Inno Setup 打包的 ,/DIR参数用于指定安装目录 ;以后升级新版本时同样带上/DIR参数运行安装包 , 即可保留自定义位置 ;2、设置模型存放位置Ollama 默认把模型存在C:\Users\用户名\.ollama\models, 通过环境变量OLLAMA_MODELS改到 D 盘 , 这一操作必须在拉取模型之前完成 :方法 A , 命令行一行搞定 ( 推荐 ) :setx OLLAMA_MODELS D:\Ollama\models进入环境变量中 , 可以看到 该环境变量 被设置到了 用户环境变量 中 ;方法 B , 图形界面操作 :步骤一 :按Win R输入sysdm.cpl回车 , 切到 高级 选项卡 , 点击 环境变量 ;步骤二 :在上半部分 用户变量 区域点击 新建 ;步骤三 :变量名填OLLAMA_MODELS, 变量值填D:\Ollama\models, 一路确定 ;设置完必须重启 Ollama 才生效 :右键点击右下角托盘的小羊驼图标选择退出 , 再从开始菜单重新打开 ;3、验证模型是否写入 D 盘1、命令行执行ollama ls, 然后随便拉一个小模型做测试 :ollama pull smollm2:360m2、打开D:\Ollama\models目录 , 出现blobs和manifests两个文件夹 , 即代表模型已存到 D 盘 , C 盘的.ollama目录不再增长 ;执行ollama list命令 , 查看已安装的大模型 ;D:\Ollamaollama list NAME ID SIZE MODIFIED smollm2:360m297281b699fc725MBAbouta minute ago执行ollama run smollm2:360m命令 , 运行上述模型 ;D:\Ollamaollama run smollm2:360m你好Hello!早上好Goodmorning!你叫什么名字ImSmolLM,but you can call meSmol.Senda message(/?forhelp)执行/?查询命令 ;/?AvailableCommands:/setSetsession variables/showShowmodel information/loadmodelLoada session or model/savemodelSaveyour current session/clearClearsession context/byeExit/?,/helpHelpfora command/?shortcutsHelpforkeyboard shortcutsUseto begin a multi-line message.Senda message执行/bye退出大模型 ;3、测试通过后删除这个测试模型 :ollama rm smollm2:360m4、拉取正式模型 一按自己的硬件档位选一条命令执行 , 首次运行会自动下载 :# 32 GB 内存机器首选 : MoE 架构 , 吃内存约 18.5 GB , 跑之前关掉大程序ollama run hf.co/mradermacher/Qwen3-30B-A3B-GGUF:Q4_K_M# 11 GB 显存机器首选 : 大部分层进显存 , 20 字每秒以上ollama run hf.co/mradermacher/Qwen3-14B-GGUF:Q4_K_M# 中文文笔优先 : 官方版 , 先跑一周再决定是否更换ollama run glm4:9b# 海外社区微调版 : 显密友好 , 中文能力一般ollama pull dolphin-mistral下载完成会自动进入对话 , 直接打字即可测试 , 输入/bye退出 ;5、拉取正式模型 二执行ollama run hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M命令 , 下载 Qwen3-14B-abliterated-GGUF 模型 ;D:\Ollamaollama run hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M pulling manifest pulling b36d0edb573c:100%▕██████████████████████████████████████████████████████████▏9.0GB pulling4a6ce91d86a8:100%▕██████████████████████████████████████████████████████████▏99Bpulling6031c63420f0:100%▕██████████████████████████████████████████████████████████▏549Bverifying sha256 digest writing manifest successThinking...嗯用户发来“你好”看起来是个简单的问候。我需要先回应他的问候保持友好。可能他只是测试一下或者想开始聊天。我应 该用中文回复保持自然不要太正式。可以问问他有什么需要帮忙的或者有没有什么话题想聊。不过用户可能没有明确的需求 所以先打个招呼然后询问是否需要帮助。确保回复简洁符合之前的例子。检查有没有拼写错误保持口语化。好的准备回复。...done thinking.你好很高兴见到你。有什么我可以帮你的吗Senda message(/?forhelp)6、验证 GPU 是否被利用执行 下面的命令 , 可以查看 GPU 是否被利用 ;# 查看运行中模型的负载分布ollamaps输出结果 :D:\Ollamaollama ps NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL hf.co/mradermacher/Qwen3-14B-abliterated-GGUF:Q4_K_M bebe6732b2df9.4GB100%GPU4096llamacpp4minutes from nowD:\Ollama输出中PROCESSOR列的三种解读 :显示100% GPU:模型整体进入显存 , 速度最快 ;显示xx%/xx% CPU/GPU:显存装不下全部层 , Ollama 自动分层混合计算, 速度介于两者之间 , 属于正常现象 ;显示100% CPU:显存完全没被利用, 处理方式是先确认驱动版本不低于 580 ( 参考机器 581.63 已满足 ) , 再针对 14B 模型在环境变量里设置OLLAMA_GPU_LAYERS提高卸载层数 ;7、常用管理命令ollama list# 查看已下载的全部模型ollamarm模型名# 删除不需要的模型 , 释放磁盘空间ollamaps# 查看运行中模型的 CPU/GPU 占用四、前端界面与进阶方案1、LM Studio ( 图形界面 )适合完全不想碰命令行的用户 :步骤一 :访问lmstudio.ai下载安装 ;步骤二 :内置搜索框直接搜Qwen3 30B A3B GGUF, 选择 Q4_K_M 量化下载 ;步骤三 :加载模型后在右侧把上下文长度调到 8192 到 16384 , 点击对话即可 ;优点 :全程图形操作 , 自动适配显卡 offload 策略 ;缺点 :部分社区魔改模型搜索不到 , 需要手动导入 GGUF 文件 ;2、Open WebUI ( 网页版界面 )Ollama 装好后加一个网页前端 , 整体体验大幅提升 , 前提是已安装 Docker Desktop :dockerrun-d-p3000:8080 --add-hosthost.docker.internal:host-gateway-vopen-webui:/app/backend/data--nameopen-webui ghcr.io/open-webui/open-webui:main浏览器访问localhost:3000注册账号 , 在设置里选择 Ollama 后端 , 即可看到已拉取的全部模型 ;3、SillyTavern 加 KoboldCpp ( 严肃长篇创作 )长篇连载与角色扮演场景的标准配置 :职责分工 :SillyTavern 负责世界观设定 , 角色卡 , 多轮记忆管理 ; KoboldCpp 负责底层推理 ;适用场景 :需要长期连载 , 人物设定固定 , 章节上下文统一管理的严肃创作 ;学习建议 :该组合的学习成本高于 Open WebUI , 建议先用 Ollama 加 Open WebUI 跑通 , 再迁移到这套 ;4、商业云端替代方案不想折腾硬件时的两个选择 :API 路线 :硅基流动 , OpenRouter 等聚合平台按量付费调用开源模型 , 无需本地硬件 , 适合偶尔使用的轻度用户 ;云 GPU 租用 :RunPod , Vast.ai , AutoDL 租 RTX 4090 约 3 到 5 元每小时 , 开机即用 , 自带 ComfyUI 或 Ollama 镜像 , 适合临时跑大任务 ;五、注意事项与避坑部署过程中最容易踩的坑全部整理在这里 :上下文不要拉满 :写作场景控制在 8K 到 16K 即可, 拉到 128K 会额外多吃 8 GB 以上内存直接顶爆 ;跑 30B 前先腾内存 :确保可用内存不低于 20 GB, 启动前关闭浏览器多标签页 , 游戏等大型软件 ;量化版本选择 :同名模型优先选 Q4_K_M 及以上量化, Q4_K_XL 通常比 Q4_K_M 质量更好 , 低于 Q4 的版本不建议 ;输出质量下降的处理 :社区微调版本如果出现逻辑变差 , 遗忘前文 , 中文文笔退化 , 先换更高精度量化 , 再回头与官方版本做对比 ;显存不足的处理 :遇到爆显存就降低上下文长度 , 或让 Ollama 自动分层 , 混合计算的速度依然可观 ;磁盘预留 :每个模型 5 GB 到 19 GB , 建议同时保留不超过 2 到 3 个模型 , 目标盘预留 60 GB 以上比较从容 ;总结本文给出一套可直接落地的本地部署方案 :选型层面,16 GB 内存机器用 Ollama 跑 GLM-4-9B 或 Qwen3-8B ,32 GB 内存机器首选 Qwen3-30B-A3B ( 8 到 12 字每秒 ) ,11 GB 显存机器优先让 Qwen3-14B 进显存拿到 20 字每秒以上的体验 ,稠密 20B 以上模型一律不推荐 ;部署层面,程序通过安装包的/DIR参数,模型通过OLLAMA_MODELS环境变量, 两者都能自定义到任意磁盘 , 全程不占用 C 盘空间 ;体验层面,LM Studio 适合零命令行用户 ,Open WebUI 提供网页版对话界面 ,SillyTavern 加 KoboldCpp面向严肃长篇创作 ,三者按自身需求逐级进阶即可 ;
阅读完成 · 觉得有帮助？
