2026/11/3 9:38:19

PaperOrchestra保真度如何验证:设计决策到arXiv原文逐页映射完全指南

PaperOrchestra保真度如何验证:设计决策到arXiv原文逐页映射完全指南 【免费下载链接】PaperOrchestraAn automated AI research-paper writer based off Googles PaperOrchestra papers implementation through a skills - benchmark autoraters using any coding agent (Claude Code, Cursor, Antigravity, Cline, Aider). No API keys, no LLM SDKs.项目地址https://gitcode.com/gh_mirrors/pa/PaperOrchestra点击查看免费下载PaperOrchestra 保真度验证的核心问题很简单这个开源 skill 包是否忠实还原了 arXiv:2604.05018 原论文答案是——项目自带了一份逐页映射账本 docs/paper-fidelity.md把仓库里每一个非平凡设计决策都指回了论文的对应章节、页码甚至附录。本文带你用 5 分钟看懂这份映射表并学会自己动手核验。为什么需要保真度概念PaperOrchestra 是一个把idea.md、experimental_log.md等原始研究材料交给 5 个智能体流水线Outline → Plotting → Literature Review → Section Writing → Content Refinement产出 LaTeX 论文的框架。仓库 README.md 承诺论文附录 F 提供了每个 agent 的精确 prompt而本仓库把它们做成了任意 coding agentClaude Code、Cursor、Cline、Aider 等可直接执行的 skill。承诺归承诺怎么验证关键就在于可追溯。保真度映射文件在哪里30 秒定位核心证据整个验证工作围绕一个文件展开保真度账本docs/paper-fidelity.md —— 设计决策 → 论文页码的完整映射它把仓库的设计分成三层每层都附仓库位置 论文出处两列层级含义验证方式① Verbatim reproductionsprompt 逐字复现非改写打开文件对照页码头部注释标明来源页② Engineering decisions工程决策可追溯到论文每个决策标注 §章节号 页码③ Out-of-paper improvements仓库自己加的强化脚本明确标记超出论文范围这种三层分账本身就是保真度的体现不夸大为逐字复刻也不隐瞒自己的改动。第一层验证逐字复现的 Prompt逐页对得上第一层映射表列出了 14 个 prompt每个都注明论文附录页码例如Prompt仓库位置论文页码Anti-Leakage Promptanti-leakage-prompt.mdApp. D.4, p.25Outline Agentprompt.mdApp. F.1, pp.40-44Section Writing Agentprompt.mdApp. F.1, pp.47-49Content Refinement Agentprompt.mdApp. F.1, pp.49-51验证方法非常朴素打开任一prompt.md文件头部都有形如Source: arXiv:2604.05018, Appendix F.1, pages 47–49 (verbatim)的来源声明——你只需拿论文附录 F 对照即可。以 anti-leakage-prompt.md 为例它还会说明为什么必须前置保证公平比较、防止模型靠预训练记忆编作者和实验这与论文 App. D.4 的动机逐字一致。第二层验证工程决策的页码级追溯这一层最有意思。比如这些看似实现细节的选择全都能在论文里找到出处5-agent 流水线结构→ §4 (pp.4-5), Fig. 1对应 pipeline.mdStep 2/3 并行执行→ §4 p.5 operating in parallelOutline 只用 1 次 LLM 调用、Plotting 约 20–30 次→ App. B (pp.14-15)各SKILL.md都写明Levenshtein 70 模糊匹配→ App. D.3, p.25实现在 levenshtein_match.py≥90% 引用整合率门槛→ App. D.3, p.25由 citation_coverage.py 机械执行Refinement ≤3 轮迭代→ 论文 Table 7 3× content refinement loop12 种允许宽高比、figure_id禁用 Figure 前缀→ App. F.1 p.41 的 Outline prompt 指令换言之当你质疑这个阈值是谁定的时答案永远是论文第 N 页定的仓库只是照做。第三层验证超出论文的改进被透明记账诚实的保真度不仅要说我复现了什么还要说我额外加了什么。映射表第三节把 9 个确定性强化脚本逐一点名例如改进位置为什么加终稿作者/邮箱/机构 grep 检查anti_leakage_check.pyAnti-Leakage Prompt 只是愿望脚本是执法孤儿引用门禁orphan_cite_gate.py机械保证\cite{KEY}一定存在于 refs.bib物理迭代快照snapshot.py回退规则要求真实回滚文件收益递减提前停止halt-rules.md论文只按轮数封顶额外按 1.0 分增量止损文档明确声明这些是additions, not deviationsarchitecture.md 同样重申——删掉它们仍是忠实实现留着只是更稳健。同样透明的还有没实现的部分映射表第四张列出了刻意不实现的论文组件及原因PaperBanana 视觉生成器外部系统改用 matplotlib 可选 VLM 评审循环替代、MinerU PDF 抽取委托给宿主 agent、Gemini-3-Flash Google Search由宿主 WebSearch 工具顶替等。每一行都解释了为什么可以不实现——这正是 architecture.md 中无 API key 设计哲学的落地。用真实产出做端到端保真度验证理论对得上还不够还要看跑出来的东西。仓库内置一个完整执行案例 examples/agentic-security-report/22 页白皮书5 个 agent 按论文 §4 顺序执行Step 2/3 并行且每个阶段的产出物都可对照论文结构核验outline.json经 validate_outline.py 校验1 次 LLM 调用 ✅7 张图全部由 Plotting Agent 从experimental_log.md的表格数据渲染~20-30 次调用 ✅22 条 BibTeX 条目引用整合率 100% 通过 ≥90% 门禁 ✅Refinement 3 轮迭代评分轨迹71.85 → 74.05 → 75.55 → 77.70恰好命中3× content refinement loopTable 7与 halt-rules.md 的接受/回退语义 ✅下图是 Refinement Agent 在第 1 轮迭代中主动补画的图——论文 §4 Step 5 允许修订循环扩展绘图输出这一行为同样有出处另一例竞品能力矩阵热力图数据全部来自实验日志表格没有任何臆造数值——这正是 Anti-Leakage Prompt 确定性脚本双重约束的效果保真度验证清单动手 5 步查账本通读 docs/paper-fidelity.md确认四层映射表完整逐字 prompt / 工程决策 / 超范围改进 / 未实现项对页码抽查 2-3 个skills/*/references/prompt.md核对头部 Source 声明与论文附录 F 页码核约束挑一条硬规则如 ≥90% 引用整合率找到对应的门禁脚本citation_coverage.py确认真实执行看日志检查案例 workspace 的迭代评分轨迹是否符合 halt-rules.md 的 ACCEPT/REVERT 语义辨增补确认你依赖的功能属于论文原生还是仓库增强——前者有页码出处后者在第三节明码标价小结PaperOrchestra 的保真度验证不靠口号而靠一份可逐页核验的映射表prompt 逐字复现对到附录 F 的页码工程决策对到章节与公式超范围改进和未实现项则被坦率地单独立账。配合examples/agentic-security-report这份可复现的端到端产出任何人都能在不读代码的情况下完成仓库 → arXiv 原文的双向对照。延伸阅读保真度账本docs/paper-fidelity.md架构深潜docs/architecture.md宿主编排集成指南docs/coding-agent-integration.md流水线参考skills/paper-orchestra/references/pipeline.md赞分享【免费下载链接】PaperOrchestraAn automated AI research-paper writer based off Googles PaperOrchestra papers implementation through a skills - benchmark autoraters using any coding agent (Claude Code, Cursor, Antigravity, Cline, Aider). No API keys, no LLM SDKs.项目地址https://gitcode.com/gh_mirrors/pa/PaperOrchestra点击查看免费下载相关推荐CANN推理优化SuperKernel技术SuperKernel 1. 背景 为提升模型性能通常会采用多种优化手段如算子级优化算子融合、通信 计算重叠、Weight 预取等和网络执行优化Con人工智能大模型模型优化模型量化深度学习算子库多模态媒体生成示例工程Ascendclawhip活体验证完整清单12种预设通知事件如何逐一真实验证clawhip活体验证完整清单12种预设通知事件如何逐一真实验证 clawhip 是一个事件到频道Event to channel的通知路由工具能把 GAlpaSim仿真场景ID映射验证如何确保仿真场景标识符的正确性和唯一性AlpaSim仿真场景ID映射验证如何确保仿真场景标识符的正确性和唯一性 AlpaSim是一个功能强大的自动驾驶仿真平台致力于为开发者和研究人员提供高度真实自动驾驶上一篇Dendron移动应用构想维护模式下的社区驱动开发可能性下一篇OData.NET空间数据处理Microsoft.Spatial库使用指南 ️创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考