llmfit 基准测试实战一键测出你硬件上本地大模型的真实性能【免费下载链接】llmfitHundreds of models providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit这台笔记本跑本地大模型到底快不快别再靠参数量和显存猜了。llmfit 基准测试可以给你答案它把数百个模型的硬件适配评分和真实推理速度合在一起对正在运行的推理服务发出真实请求测出 tok/s每秒生成 token 数与 TTFT首 token 延迟还能把实测结果一键提交回社区让同款硬件的人直接受益。先认识 llmfit硬件适配评分 推理速度实测llmfit 是一个面向本地大模型的终端工具内置数百个模型与多家推理运行时llama.cpp、Ollama、vLLM、MLX 等的数据一条命令回答哪台机器能跑哪个模型。启动后每个模型都会根据你自动检测出的 CPU、内存、GPU 给出适配分和预估速度——但这些数字大多是公式估算。跑一次基准测试估算才会变成你设备上的实测值真实的每秒 token 数加上首 token 延迟。上手准备把模型弄上机器把推理服务跑起来启动llmfit进入 TUI顶部显示检测到的系统规格表格列出全部模型。按/输入关键词比如qwen3.5用j/k或方向键定位到目标模型按d下载。若一家模型有多个提供方会弹出 Download With 选择框方向键选中后按Enter确认。下载在后台进行按D可打开下载管理器看进度GGUF 文件默认落在~/.cache/llmfit/models。基准测试必须打到一个正在运行的推理服务上。以 llama.cpp 为例在终端启动模型llama-server -m ~/.cache/llmfit/models/Qwen3.5-0.8B-Q8_0.gguf --port 8080 -ngl 99等终端出现model loaded和listening on http://127.0.0.1:8080回 TUI 按r刷新已安装模型——表头出现llama.cpp: ✓ (1 models)就说明服务已被 llmfit 自动探测到。Ollama、vLLM、MLX 同理各运行时端点与环境变量见 docs/providers.md。实测核心跑出一组可信的 tok/s 和 TTFT在表格中选中刚装好的模型按b。因为模型已安装、服务在运行llmfit 会弹出 Benchmark this model 提示框显示即将测量的模型与服务提供方按Enter开始。它会对运行中的服务执行三次真实推理给出两个关键数字tok/s生成阶段每秒吐多少 token决定打字速度手感TTFTTime To First Token从发出请求到收到第一个 token 的等待时间决定响应快不快按键作用b打开排行榜已选模型已安装且服务在运行时提示对它实测Enter开始基准测试Space/s切换完成后以 PR 分享开关Esc转入后台继续跑边测边浏览社区排行榜每次运行的结果都先落盘到本地 bench 存储区~/.config/llmfit。当时不分享也没关系日后可用llmfit bench --share补交实测数据永不丢失。测量逻辑实现见 llmfit-core/src/bench.rs。分享实测数据一个 PR让同款硬件都受益想在测试完成后自动提交社区就在开始之前在提示框里按Space或s打开分享开关。测试一结束llmfit 会自动创建社区基准 PR——不需要安装gh命令行工具认证走 GitHub 设备流llmfit 打印短码你在浏览器确认一次即可。 若提示框显示 no GitHub credentials先设置 token 再重启export GITHUB_TOKENghp_your_token每条被合并的提交都随下一个版本发布你的实测数字会替代模型列表里的估算值带✓标记所有相同硬件同 CPU GPU的用户在自己跑任何测试之前就能拿到校准过的预估。你的已共享记录在排行榜里显示为you (shared)本地未共享的则是you (local)。数字有分歧时llmfit 的信任顺序是自己的实测 同硬件社区数据 公开库中位数 公式估算。聚合逻辑见 llmfit-core/src/benchmarks.rs认证与 PR 机制见 llmfit-core/src/share.rs。进阶玩法批量基准、硬件模拟与 CLI 脚本化社区排行榜b浏览其他用户在你同款硬件上的实测数据按H打开硬件选择器查看任意 GPU 或芯片的结果Inference BenchI对所有运行时上的全部模型做批量基准测试输出 TTFT、tok/s 与总延迟附质量评分和路由矩阵硬件模拟S手动改内存、显存、CPU 核数整张表的适配分和速度预估即时重算——升级前就能预演换新机后能跑什么CLI 等价于--memory/--ram/--cpu-cores更完整的机型描述可用--profile硬件配置文件以上操作在命令行都有等价命令方便脚本化llmfit bench # 对当前运行中的服务实测 llmfit bench --all --share # 批量测全部模型并自动提交 PR llmfit bench --dry-run # 只预览将提交的内容不触发任何网络请求加--json可拿到机器可读输出单独运行llmfit bench --share则把本地存过的所有结果补交详见 docs/cli.md。参考文档基准测试完整指南docs/benchmarking.mdTUI 使用手册docs/tui.md运行时端点配置docs/providers.md社区基准数据模式llmfit-core/data/community/schema.json流程走完后再有人问你这台机器跑本地大模型多快你不必再报一个估算值——直接亮排行榜上的实测数字就行。【免费下载链接】llmfitHundreds of models providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考