2026/10/16 11:14:48

BlockBeats 刚盖章:jevgrep 让 Coding Agent 少自己找代码,SWE-bench 成本降 29%

BlockBeats 刚盖章:jevgrep 让 Coding Agent 少自己找代码,SWE-bench 成本降 29% BlockBeats 刚盖章jevgrep 让 Coding Agent 少自己找代码SWE-bench 成本降 29%【免费下载链接】jevgrepFind code by asking what it does. A CLI for coding agents that uses Jev to discover relevant files and source context.项目地址: https://gitcode.com/gh_mirrors/je/jevgrepCoding Agent 干陌生活的时候钱花在哪了答案往往反直觉不是花在写代码而是花在「找代码」。面对一个没见过的仓库Agent 要先猜哪些文件相关再一层层 grep、read、试探Token 预算就这么烧掉了。最近 BlockBeats 报道的开源项目 jevgrep 给出的解法很直接——用 Jev 这个「只做判断、不生成文本」的模型替 Agent 先筛一遍仓库把相关文件和源码上下文直接喂给主模型实测 SWE-bench 十任务主模型成本下降 29%。这个数字怎么来的、省在了工作流的哪一环、对选型意味着什么是本文要拆开的三个问题。仓库里的评估报告、架构文档与核心源码比媒体报道更值得读一遍。先说结论29% 是一个「口径」不是一个神迹BlockBeats 报道标题里的「29%」在仓库里能找到精确的出处。根目录 README 的开场白是 Same intelligence. ~30% lower cost.而配图口径说明 assets/README.md 写得很清楚实测 28.6%四舍五入为 ~30%。最终基准报告 relevance-threshold-2026-09-27.md 给出的是更精确的28.63%十任务总成本从无 jevgrep 基线的$7.6220690降到$5.4396530两边都解出了同样的8/10个官方任务。三个数字——28.63%、28.6%、~30%外加媒体取整的 29%——指的是同一件事在保持相同解题率的前提下主模型编码 Agent 所用 LLM的账单降了约三成。注意两个限定词「主模型」和「保持相同解题率」。第一个限定词意味着 Jev 的检索成本是单独记账的后面会细说第二个限定词意味着这不是靠牺牲任务完成质量换来的省钱——这正是这篇报道最值钱的信息点。29% 是怎么测出来的冻结基线、官方判分、失败也计费这个数字不是拍脑袋而是仓库里一套可审计的评估协议跑出来的。从 relevance-threshold-2026-09-27.md 可以还原完整方法任务集十个经过调优的 Python SWE-bench 任务Django、pytest、Requests、Astropy、Xarray、SymPy、Sphinx、Matplotlib、Pylint、Scikit-learn每任务一次首次尝试冻结一个已安装的 npm 归档包 仓库里公开的 skill 全文冻结所有任务共用判分以 SWE-bench 官方 grader 为准不引入任何补充断言成本口径主模型 Solopenai/gpt-5.6-sol, medium的完整账单包含两次失败任务的消耗Jev 成本单列、不计入这 29%基线无 jevgrep 的存档基线冻结不重跑保证两边对照公平。分任务看降幅并不均匀这恰恰说明数字的可信度。最夸张的是 pytest-6197从 $2.3445 降到 $0.8281——pytest 这类「测试行为描述型」问题正是 jevgrep 的主场Django-15629 从 $1.5055 降到 $1.2286而 Requests-1142 反而从 $0.2685 微涨到 $0.2915。聚合节省不等于每个任务都省钱报告原文也强调这是观测结果而非逐任务保证。如果把 Jev 的检索成本也算进总账数字会变化但方向不变0.4.3 版本的含 Jev 总成本重跑total-cost-2026-09-28.md显示总成本 $5.6563991Sol $4.1779912 Jev $1.4784079对比基线 $7.6220690仍降 25.8%解题率维持 8/10。后续 0.5.0 的 combined-cost-research-2026-09-28.md 把原生 Jev 成本再压了约 59%combined 与基线基本打平略高 2–3%。所以更严谨的说法是主模型账单降三成总成本在 25% 上下——报道的 29% 取的是最能说明「少找代码」价值的口径。少找代码等于省钱成本下降发生在工作流的哪一环要理解钱省在哪先看 architecture.md 的一句话Coding agents spend part of every unfamiliar task finding the right files.Agent 在每个陌生任务里都要花一部分预算找文件。jevgrep 的思路是把这段「找路」从主模型手里接过来交给更便宜的判断模型。它的检索不是一把梭而是三层渐进式筛选核心逻辑都在 packages/core/src/retrieve.ts 里目录级导航对目录名 采样元数据做相关性判断navigationRequest见 requests.ts决定要不要深入并设了 8MB 的导航字节预算上限navigationByteBudget文件级预览命中目录后读每个文件的开头 16KB 声明索引做文件预览previewFile再让 Jev 判断文件值不值得进声明级精确定位对入围文件的每个声明/源码单元用 relevance / scope / reference 三道判断题0.5 准入、0.6 强信号、0.7 展示置信度的阈值体系见 selection.ts筛出真正有用的源码片段。关键在成本结构。Jev 是「只输出选择概率」的判断模型按 total-cost-2026-09-28.md 记录的列表价输入 $0.042/百万 token输出免费——用它来大规模做「这个文件/这段声明相不相关」的筛选成本几乎可以忽略。而主模型 Sol 是按生成 token 计价的它每多读一个无关文件、多猜一次方向都在烧钱。jevgrep 把「哪个文件、哪几行、逐字源码」一次性吐给主模型完整输出示例见 specs/done/jevgrep/assets/stdout-example.txt主模型从「猜 搜 读」变成「直接基于证据实现和测试」。这一环节转移省下的量级在 speed-2026-09-28.md 里有硬数据同一批十任务无 jevgrep 时 Sol 用了9,933,430token有 jevgrep 只用5,810,284少 41.51%成本降 29.97%连墙钟时间都少了 12.70%含检索 1,947 秒 vs 2,230 秒。有一点必须澄清jevgrep 返回的源码依然计入主模型账单报告明确 Returned source still contributes to Sols bill。所以省钱不是「上下文变免费了」而是主模型不再需要自己把整棵仓库读一遍去找——省的是盲目探索和试错轮次这正是「少自己找代码」四个字的精确含义。工作流里还有两道「护栏」值得工程师注意。一是预算可视化jg files [root]实现见 inventory.ts只走 ignore 规则统计可读文件数不读源码、不发请求、不耗 Token搜索前先看范围配合--exclude把src/generated/、测试等目录挡在门外。二是本地缓存cache.ts 以 SHA-256 摘要做键、只存答案、TTL 7 天、容量 256MB 上限同一仓库反复问相似问题时直接命中进一步摊薄检索成本。Agent skillskills/jevgrep/SKILL.md还把分工写进了规范行为性问题how/why/where先jg精确符号、字符串、文件名直接 grep——不盲目套用这正是工程化的体现。这个数字对 Coding Agent 选型意味着什么对正在选型或自建 Agent 工作流的团队29% 这个数字有三层启示第一看口径别只看 headline。29%/~30% 是主模型Sol-only口径含 Jev 的总成本是 25.8%0.4.3 实测到了 0.5.0 之后 Jev 检索成本再降 59%combined 与基线基本持平。预算负责人至少要区分「主模型账单」和「总账单」两个数否则会把口径差异当成成本波动。第二这是单次观测不是统计结论。评估报告自己写得很克制十个调优过的 Python 任务、每任务一次首次尝试、基线不重跑、do not establish statistical equivalence。它证明了「检索前置 判断模型分流」这条路线在同类任务上可复现省钱但不构成对任意语言、任意仓库、任意 Agent 的保证。选型时应拿自己的典型任务跑小样本验证并复用它这套可审计的方法官方判分、失败计入、基线与产物哈希冻结。第三省的是「找路费」不是「免死金牌」。十任务里 Matplotlib 和 Pylint 两题两边都没解出来且失败成本照常计入分母——检索再准也救不了任务本身的难它只是让 Agent 在未知仓库里少走弯路。最适合的场景是「知行为不知位置」的跨文件问题pytest 的 $2.34→$0.83 就是典型而精确定位符号、查字符串、找文件名grep 依然更快更省skill 里也明确这么写了。选型时值得问四个问题解题率是否与基线持平账单是否区分了主模型与检索模型失败任务有没有计入成本工具是否提供预算护栏jg files、--exclude、请求上限、缓存、不完整结果的状态码最后一个判断留给读者当「找代码」从主模型的猜测式探索变成廉价的判断模型批量筛选时Coding Agent 的成本结构就被改写了一部分——29% 省下的不是代码而是 Agent 在陌生仓库里迷路的那些 Token。【免费下载链接】jevgrepFind code by asking what it does. A CLI for coding agents that uses Jev to discover relevant files and source context.项目地址: https://gitcode.com/gh_mirrors/je/jevgrep创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考