Eigent 本地模型部署实战3 步接入 5 种本地推理平台的完整指南【免费下载链接】eigentEigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex项目地址: https://gitcode.com/GitHub_Trending/ei/eigentEigent 是开源多智能体桌面工作台支持本地模型部署。本文以 Ollama 为主线走通启动服务、接口接入、连通验证全流程并覆盖 vLLM、SGLang、LM Studio 等平台的差异点。部署前自检显存、驱动与端口占用四项检查本地模型部署能否跑通先看机器配置对照下表过一遍即可。检查项参考标准确认方式GPU 显存1.5B–3B 模型 ≥ 4GB7B 模型 ≥ 8GB更大模型 ≥ 12GB驱动管理面板或 GPU 监控工具加速环境Windows/Linux 需 CUDA 驱动macOS 依赖 Metal显卡驱动版本运行依赖vLLM / SGLang 需 Python 3.10Ollama / LM Studio 装官方客户端即可Python 版本号端口可用五个平台默认端口未被其他服务占用系统端口查询命令Eigent 本身无需为本地推理额外装依赖只需机器上跑起一个独立的推理服务。选型对比五种本地推理平台的上手难度与默认端点结论先行第一次跑通用 Ollama高吞吐私有化部署选 vLLM纯 CPU 环境只有 LLaMA.cpp 一条路。平台上手难度推理性能适用场景默认端点Ollama最低中快速验证、入门 GPUhttp://localhost:11434/v1vLLM中高高并发、GPU 私有化部署http://localhost:8000/v1SGLang中高前缀缓存、长上下文场景http://localhost:30000/v1LM Studio最低中图形化下载量化模型http://localhost:1234/v1LLaMA.cpp中中低纯 CPU 离线推理http://localhost:8080/v1五个平台对 Eigent 暴露的都是同一套 OpenAI 兼容的/v1接口因此主线走通一次其余平台只需换端点和模型名。主线实操Ollama 三步接入本地模型部署主线选 Ollama一条命令拉模型三个字段填完即可连通。第 1 步启动推理服务并拉取模型。桌面客户端安装后服务随应用自启只需拉一个 Instruct 模型ollama pull qwen2.5:7b第 2 步在设置中填写接入参数。打开 Eigent 的「设置 → 模型管理 → 本地模型」页选中 Ollama 平台字段填写值平台Ollama端点 URL见上表默认端点模型类型qwen2.5:7b必须与服务加载的模型完全一致API Key不需要留空端点漏写/v1后缀也没关系应用首次保存时会自动补上并弹提示无需手动纠正。第 3 步 验证连通性。点击「验证」按钮应用会向端点发送试探请求检查的不只是响应还有模型是否支持函数调用tool call——这是多智能体工作流的硬性依赖。看到成功提示即接入完成可立即将该模型设为默认工作模型。换用 vLLM只改启动命令与端点vLLM 是高吞吐私有化部署的第一选择替换第 1 步的命令vllm serve Qwen/Qwen2.5-1.5B-Instruct端点换成 vLLM 默认端口模型类型填服务实际加载的模型 ID其余步骤与主线完全相同。SGLang 与 LM Studio只换端口和模型名SGLang 用命令行拉起python3 -m sglang.launch_server --model-path Qwen/Qwen2.5-1.5B-InstructLM Studio 则不需要任何命令在 GUI 里启动本地服务默认 1234 端口模型类型填资源管理器里显示的量化文件名。两者接入字段与主线一致只改端点。LLaMA.cpp面向纯 CPU 机器的离线推理llama-server -m qwen2.5-7b-q4.gguf --port 8080该平台在验证环节走特殊分支跳过函数调用试探请求直接请求健康检查接口确认服务存活并从/v1/models拉取可用模型列表其余接入步骤不变。连接失败时按服务、网络、参数三层递进排查连接失败基本只出在这三层按顺序收窄不必从头重来。服务层进程是否真的在跑。浏览器直接访问你填的端点 URL能返回模型列表 JSON 说明服务正常打不开就回到第 1 步确认推理服务进程。网络层端口与防火墙。服务在跑但请求失败时检查默认端口是否被防火墙拦截或被其他程序抢占从局域网另一台机器接入时把主机名换成推理机的实际 IP。参数层URL 路径与模型名。对照选型表中「默认端点」一列确认路径完整模型类型必须与服务输出严格一致区分大小写、带 tag。连接正常但验证失败几乎都是模型不支持函数调用导致换 Instruct 系列模型即可。小结Eigent 本地模型部署能否一次跑通取决于四个环节推理服务确实已启动、端点路径完整、模型名与服务输出精确一致、模型支持函数调用——最后一条最容易被新手忽略。更多细节可查阅 README.md 与 本地模型配置源码。【免费下载链接】eigentEigent: The Open Source Cowork Desktop - Local and Free Alternative to Claude Cowork and Codex项目地址: https://gitcode.com/GitHub_Trending/ei/eigent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考