文章目录一、设备条件二、部署方案三、下载llama.cpp四、下载模型五、启动脚本六、实测效果七、接进DeepSeek Harness八、劝退提醒一提本地部署大模型很多人的第一反应就是得先买张四五千的显卡。我原来也这么想直到把天天背去上班的ThinkBook 14翻开折腾三个晚上硬是把一个270亿参数的模型跑起来了。下面就是我这三个晚上的全部过程。想在自己电脑上跑大模型的感兴趣的可以接着往下看。一、设备条件先看我的机器联想ThinkBook 14 G7 IAH。项目配置处理器Intel Core Ultra 9 285H内存32GB LPDDR5X8533 MT/s显卡Intel Arc 140T核显共享内存硬盘954GB系统Windows 11专业版24H2图笔者的部署环境 联想ThinkBook14这台机器没有独显系统里显卡那一栏显示的128MB是共享显存当不了真正的显存用。这是我踩过的第一个认知坑。那它靠什么跑模型靠那32GB内存还有Arc核显能分到的那部分。说白了就是饭桌上菜太多坐不下干脆端个小板凳凑合。慢是慢点但能吃上。二、部署方案本地跑模型的工具不少Ollama和LM Studio我都装过最后留在机器上的是llama.cpp。Ollama一条命令装完敲一句ollama run就能对话模型库里的现成模型也最多上手最快。代价是后端的编译选项和启动参数全被封在里面我这块核显能不能吃到Vulkan加速所以不考虑。LM Studio图形界面最省事模型从搜到加载全在窗口里点完适合完全不想碰命令行的人。代价是它整套是封闭的桌面程序运行时跟着它的版本走我要的是一个能自己挑后端、长期挂在后台的服务这些界面对我就是多余的。llama.cppC底层中间没有多余的封装层同一台机器上出字速度比Ollama快不少。代价是路径怎么放、参数怎么给都得自己写。我选它有三个原因。1它轻量一个压缩包解压就能用不往系统里塞东西。2它支持Vulkan后端我这块Arc核显能吃到加速。3它同时给命令行和网页界面还能对外开一套OpenAI兼容的接口。再就是我自己爱折腾参数一项一项调过去要是只想开箱聊两句、不打算接进别的AgentOllama和LM Studio都比我这个省事得多。llama.cpp你可以理解成一把万能钥匙市面上GGUF的模型它基本都能支持。模型我选的是Qwen3.8-27B。它是阿里在2026年8月14日开源的原生多模态能直接读图片和视频原生上下文262K用YaRN还能往外推到1M。最关键是它用Apache 2.0协议免费商用随便下载随便部署。27B这个尺寸也刚好卡在甜点上能力够用体积又不离谱可以把它当本地常驻模型用。三、下载llama.cppllama.cpp下载地址 https://github.com/ggml-org/llama.cpp进Releases页面找Windows的预编译包。一定要挑带vulkan字样的版本比如llama-b10955-bin-win-vulkan-x64。拿错版本核显加速就用不上速度会掉一大截。我把它放在D:\.llama.cpp\下面建两个子目录一个是程序目录llama-b10955-bin-win-vulkan-x64一个是模型目录models。程序和数据分开后面换模型不会乱。图D盘根目录的文件布局四、下载模型模型我是从魔搭社区下的网址是 https://modelscope.cn/这是国内做模型分发比较大的社区下载速度比从境外的源上拉实在得多。我这个27B模型下载很快下载下来也没有花多少时间。模型页地址是 https://modelscope.cn/models/unsloth/Qwen3.8-27B-GGUF图魔搭社区上的Qwen3.8-27B-GGUF模型页下载前得先定一个参数量化精度。同一个模型量化档位不同体积和脑子聪明程度都不一样。说白了跟衣服抽真空打包一个道理压得越狠越省地方料子总归会有点变形。常见档位我列在下面你对着自己的机器挑。量化档位体积显存建议8bit约27GB32GB起6bit约21GB24GB能塞5bit约18.5GB24GB基本合适4bit约15.9GB16GB的标准答案3bit约11.7GB12GB可以试2bit约9.6GB8GB勉勉强强我下的是两个文件主模型Qwen3.8-27B-Q4_K_M.gguf外加一个视觉编码器mmproj-F16.gguf。后者是给多模态读图用的不下载也不影响文字对话。下载命令就一行modelscope download--modelunsloth/Qwen3.8-27B-GGUF--local_dir./Qwen3.8-27B经验分享量化档位别贪高。我一开始想上5bit结果发现内存不够分最后还是退回了4bit。五、启动脚本模型和程序都躺好了剩下就是启动。在D:\.llama.cpp\根目录下新建一个文件Qwen3.8-27B.bat把下面这段贴进去echo off chcp 65001 nul title Qwen3.8-27B set LLAMA_DIRD:\.llama.cpp\llama-b10955-bin-win-vulkan-x64 set MODEL_PATHD:\.llama.cpp\models\Qwen3.8-27B\Qwen3.8-27B-Q4_K_M.gguf set MMPROJ_PATHD:\.llama.cpp\models\Qwen3.8-27B\mmproj-F16.gguf set API_KEYsk-你的密钥自己填 cd /d %LLAMA_DIR% llama-server.exe ^ -m %MODEL_PATH% ^ --mmproj %MMPROJ_PATH% ^ --no-mmproj-offload ^ -c 32768 ^ -t 16 ^ -b 512 ^ -ctk q8_0 ^ -ctv q8_0 ^ -fa on ^ --image-min-tokens 1024 ^ --temp 0.70 ^ --top-p 0.90 ^ --top-k 50 ^ --parallel 1 ^ --repeat-penalty 1.08 ^ --host 127.0.0.1 ^ --port 8080 ^ --api-key %API_KEY% pause**这个密钥得自己换掉。**脚本里的密钥我留的是占位符因为它是一串明文任何能访问你127.0.0.1:8080的程序都能直接拿去用。要是打算把服务开给局域网里的同事这一步更省不得。图llama-server启动过程脚本里的参数我逐个说一遍调过的会说下为什么。-m后面跟主模型文件的路径也就是前面下好的那个Qwen3.8-27B-Q4_K_M.gguf。--mmproj是视觉编码器的路径也就是mmproj-F16.gguf读图这一步靠它。--no-mmproj-offload是让视觉模块别往显卡上挤核显这点共享显存本来就紧张留在内存里更稳。-c 32768是上下文长度直接决定内存里给对话历史留多大地方调大了内存被吃光调小了长文章塞不进去。-t 16是线程数Ultra 9 285H的能效核和性能核加起来正好16个试下来比较平衡拉满了反而会抢资源变慢。-b 512是批大小管的是提示词读进去的快慢。-ctk q8_0和-ctv q8_0压的是KV缓存精度按默认精度存长上下文场景内存会疯长压到8位基本看不出损失。-fa on打开Flash Attention相当于给注意力计算换了套更省内存的算法不开内存顶不住。--image-min-tokens 1024是每张图编码后保底占用的token数图像细节靠它留住。--temp 0.70、--top-p 0.90、--top-k 50这三个控制输出随机性想让它更稳就往下调温度想让它更有想法就往上加。--parallel 1是同时处理的请求数设1就是一次只服务一个。--repeat-penalty 1.08是重复惩罚压住它翻来覆去说同一句话。--host 127.0.0.1和--port 8080是监听的地址和端口也是浏览器里要访问的地址。--api-key取的是脚本前面那个API_KEY也就是你自己填的密钥。这份脚本我最早是照着别人的模板改的已经用了一段时间了除了因受制于硬件输出速度慢之外没有其他毛病。启动成功后浏览器打开http://127.0.0.1:8080就能看到自带的对话界面。图llama.cpp的网页设置页六、实测效果先说速度**10.42 t/s**这是刚装好测试的速度。我的电脑除了跑模型我还要做其他事情实际在使用中比较要更慢一点大概就3 ~ 5 t/s。这个数字什么概念大概就是看它往外吐字比打字机慢一点比手写快不少。比如问天气一般几秒就回复了。写一首诗大概30秒左右。做一个贪吃蛇网页游戏得等40分钟。下面是让它写了首七言律诗整体还不错韵脚压在「阳」「苍」「黄」「肠」「觞」上颔联颈联的对仗也站得住写完之后自己还附了段赏析。图让模型照着格律写七言律诗一个能装进轻薄本的模型能对话、写诗、写短文、做游戏还是不错的但它也不是万能的。做数学推导、超长文档的精确引用还是会掉链子这种复杂任务还是老实交给云端大模型。受限于我的电脑配置目前只能这样子了想让模型跑更快还得换个好一点的设备才行。七、接进DeepSeek Harness我把它接进了本地的DeepSeek Harness客户端配置就三步。API地址填http://127.0.0.1:8080/v1API协议选openai-completions模型名和密钥填启动时设的那组。图在DeepSeek Harness里配置本地模型接好之后它就是桌面端一个随时能敲的助手。写文档、改代码这类活儿全程不联网数据一个字都不出你的机器。这一点才是我坚持折腾本地部署的原因。云端模型再便宜再快有些东西还是不适合往里传。八、劝退提醒**第一速度是真的慢。**3 ~ 5 t/s意味着你没法拿它做实时对话更别说跑自动化流程。想要爽快体验还是得有张正经的独立显卡。**第二占地方也占内存。**17GB的模型文件先占着硬盘跑起来还要吃掉一大半内存。后台再开几个浏览器和IDE机器就开始喘了。**第三第一次跑起来要等。**模型加载进内存大概要几十秒风扇会明显转起来别以为是坏了。有疑问的话可以在评论区留言交流。觉得有用的话欢迎点赞关注。参考资料llama.cpp开源仓库魔搭社区unsloth/Qwen3.8-27B-GGUF本文为原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。