2026/10/13 17:26:57

PaperSpine 的 Method Reviewer 审稿 Agent:方法有效性、证据映射与可复现性审查实战指南

PaperSpine 的 Method Reviewer 审稿 Agent:方法有效性、证据映射与可复现性审查实战指南 AI 技能AI 写作人工智能深度研究AI 应用【免费下载链接】PaperSpinePaperSpine5 — local-first, evidence-bound paper research, writing, figures, review and delivery. Download: https://wubing2023.github.io/PaperSpine/v5/项目地址https://gitcode.com/gh_mirrors/pa/PaperSpine点击查看免费下载本文以 PaperSpine 开源仓库中的 Method Reviewer Agent 角色定义文档src/skill/agents/reviewer-method.md发布版位于dist/codex/skills/paper-spine/agents/reviewer-method.md为骨架结合其底层的审稿策略、证据落地协议、机器契约 Schema 与对应脚本/测试实现讲解如何从方法 / 技术正确性视角独立审查一篇论文手稿。读完本文你将掌握 Method Reviewer 的四大发现维度、证据边界判定规则、图表专项审查方法、发现可追溯性的机器约束以及它与balanced/strict审稿策略和后续 reviewer-audit 的衔接方式。一、Method Reviewer 是什么角色定位与审查目标Method Reviewer方法审稿 Agent是 PaperSpine 审稿体系中的一个独立角色其职责被精确定义为Goal:Review the manuscript from a methods / technical correctness perspective.也就是说它不负责文风润色那是 Writing Reviewer 的职责也不负责引文与证据银行核对那是 Evidence Reviewer 的职责而是专门从方法有效性method validity、假设合理性、证据与论断的映射、对照组/比较项是否缺失、可复现性这几个技术角度审查手稿。该角色定义文档的核心工作上下文Context为三份材料manuscript text—— 当前手稿正文含.tex源文件与渲染产物writing_rationale_matrix.md—— 写作论证矩阵记录每个写作单元的动机、证据锚点与贡献承诺evidence_bank.md—— 证据银行存放支撑论断的实测结果与来源。在开源仓库中该角色与另外两个平行审稿角色共同构成完整的独立审查面reviewer-evidence.md —— 证据 / 引文质量视角claim support quality、citation relevance、source traceability、文献覆盖缺口reviewer-writing.md —— 写作 / 结构 / 修辞视角argument flow、段落连贯性、register、非科学叙事混杂等。三者共用同一份保存的任务配置saved target、article type、research scope与当前文件各自写出独立的 review 文件互不引用对方未提交的意见。二、工作前提与范围边界不臆造目标规则不做范围外分析角色定义文档在一开始就划定了两条硬边界Use the same public tasks saved target, article type, research scope and current files—— Method Reviewer 必须沿用同一公开任务中已保存的目标期刊/会议、文章类型、研究范围与当前文件不得捏造目标规则Do not fabricate target rules也不得要求开展已保存范围之外的新分析。The historicalreferences/audit.mdreceipt chain is not a prerequisite—— 历史 Runner 时代的审计收据链不是本角色运行的前提。这一点在 audit.md 与 SKILL.md 中反复出现当前宿主工作流不需要旧的 Runner 契约、JSON attestation 或审核收据链来解锁审稿。这一边界与 research.md 中定义的research_mode直接相关。尤其当任务处于materials_only模式时用户提供的分析、表格、图像和已报告结果被视为权威输入不得为制造复现性证据而重跑用户脚本、运行新的 EDA、统计检验、实验、模型拟合或数据挖掘。Method Reviewer 的作用是检查这些已提供结果是否支撑论断、是否存在具体矛盾而不是替用户补做实验。三、证据边界判定区分具体科学矛盾与已提供但未独立复现这是 Method Reviewer 最核心的判别规则值得单独展开Missing historical filenames or complete raw arrays alone do not invalidate the users reported work. Distinguish a specific scientific contradiction from a result that was supplied but not independently reproduced.缺失历史文件名、缺失完整原始数据数组本身不足以否定用户报告的工作。用户提供了消融结果、motif、保守性分析或机制图即使没有附上全部原始数组也不应仅因此就丢弃该结果审稿人必须区分两种情况具体的科学矛盾例如图与表数字对不上、单位混乱、统计量与正文宣称不一致与**结果已提供但审稿方未独立复现**。后者只是一个证据强度问题不是造假或错误证据反向约束同样明确Do not claim methods were independently reproduced when only their description was reviewed—— 如果只审阅了方法描述而并未复现就不能声称方法已被独立复现。这一原则在 scientific-figure-workflow.md 中也有呼应审稿人应Preserve valid supplied analyses and rich figures without demanding raw arraysmaterials_only只禁止新分析不禁止重组与重绘已有结果。对读者可见标签如 supplied / confirmation只有当其标识了有意义的研究设计时才可使用而不是用来描述助手如何收到或检查了一个文件。四、四大发现维度Method Reviewer 的输出骨架角色定义文档明确要求产出独立审查报告independent review发现按以下四个维度组织发现维度审查内容对应的典型问题Method validity and assumptions方法本身是否正确、假设是否被陈述并得到辩护i.i.d. 假设未加论证停止准则未定义该方法在此数据分布下是否适用Evidence-to-claim mapping每个论断是否有对应证据支撑证据强度是否匹配论断强度摘要宣称的普适性实验并未展示图 2 的统计量无法支撑正文结论Missing controls or comparisons缺失的对照实验、基线方法、比较组为何没有对比标准基线缺少消融实验回答但你是否试过…Reproducibility concerns从方法描述能否复现脚本/数据/训练配置是否完整训练/评测设置未记录随机种子与预处理变换未保留这四个维度与该角色在strict策略下使用的 rubric 一致。在 structured_review.py 中Methods Reproducibility Reviewer 的 rubric 维度为Method description completeness1不足以复现5完全可复现、Assumption justification1未陈述5明确且有理据、Experimental design1有缺陷5严谨、Limitations acknowledgment1无5含影响分析。脚本还会根据writing_rationale_matrix.md中命中 method / experiment / model / design 关键词的行自动生成MET-{row_id}发现模板并据evidence_bank.md是否存在内容将evidence_status置为 supported 或 missing —— 但正如脚本 docstring 所言LLM fills findings这些模板只是结构准备不是审稿结论本身。五、发现要求定位、科学后果与相称的修改建议角色定义文档对每条发现提出了三层输出要求Give located findings, their scientific consequence and a proportionate revision.located发现必须精确定位到手稿位置页/行/段/图/表/公式/附录坐标并附短引文scientific consequence说明该问题导致的科学后果例如该假设不成立会使主结论失效proportionate revision给出与严重程度相称的具体修改建议而不是空泛的improve this。这与 evidence-grounded-review.md 的控制性规则完全对齐每一条可执行的审稿发现必须携带四类链接——①精确的手稿定位符 短引文或针对要求内容缺失的穷尽性缺席扫描收据②提出该发现的 reviewer/persona 及该轮审查的 receipt③到达该发现所用的读/搜/注工具收据含 token 与 wall time不可得时写telemetry_statusunavailable绝不把未知量记为测量到的 0④具体建议、置信度、严重级别与处置状态。规则明确未定位的意见只是 advisory note不是科学/编辑层面的 blocker。机器层面的约束由 evidence-review.schema.json 定义语义执行在 evidence_grounded_review.py 中实现。Schema 中 finding 对象强制要求finding_id、reviewer_id、criterion、severityCRITICAL / MAJOR / MINOR / OBSERVATION、summary、recommendation、confidence0–1、dispositionopen / resolved / advisory / dismissed / needs_author、至少一条paper_evidencekind 可为 quote / figure / table / equation / absence_scan且必须带 locator 与 source_sha256以及非空的tool_receipt_ids。测试 test_evidence_grounded_review.py 验证了三条关键行为locator 过粗如仅写 Methods section无法通过校验provider_failure文献提供商故障不能支撑 novelty 类 MAJOR blocker它只是降级覆盖no_hit必须记录result_count0零结果查询只是搜索收据不能证明不存在相关工作。六、独立性与审稿流程先形成发现再读平行意见角色定义文档对独立性提出明确要求Form this rounds findings independently before reading parallel reviewers unsubmitted opinions. Prior user-provided reviews, responses and revision diffs remain valid inputs when checking a revision. Write your own review file.先独立形成本轮发现再读其他平行 reviewer 未提交的意见检查修订稿时用户此前提供的 reviews、responses 和 revision diffs 仍是有效输入即修订检查可以基于历史反馈但结论必须独立得出写出自己的 review 文件不继承他人修订版的通过状态也不把空发现列表当作未检质量的证据。源码层面对独立性的机器保障在 structured_review.py 中体现--dispatch模式会为 Methods / Contribution / Clarity 三个 reviewer 分别生成互不引用的 prompt 文件methods_reviewer.md、contribution_reviewer.md、clarity_reviewer.md并在 prompt 中明确要求 Do NOT read or reference the other reviewers work。validate_independence()则计算三份 review 的两两文本相似度阈值 0.3并检查交叉污染一份 review 是否提及另一 reviewer 的角色名输出independence_score。对应行为由 test_structured_review.py 的test_dispatch_generates_three_prompt_files与test_validate_independence_detects_similarity覆盖。Strict 模式下独立审查流程的命令为python scripts/structured_review.py paper_rewriting_output --dispatch生成的review_prompts/review_plan.json由write_review_plan()写入其中携带手稿的 SHA-256 哈希与预算上限budget ceiling确保每个 reviewer 都针对同一份手稿内容审稿。七、图表审查的专项方法读像素、数据源与参照图角色定义文档特别为图表审查指定了方法文档For figures, readreferences/scientific-figure-workflow.mdand inspect the current pixels, data/relationship sources and relevant reference figures.即 Method Reviewer 审查图表时不能只看文件名或渲染通过与否而要阅读 scientific-figure-workflow.md 的完整方法检查当前像素实际导出的图形而非缓存预览或曾经存在的文件核对数据/关系来源图中的计数、坐标、映射关系必须与源结果一致对照相关参照图对机制图/概念图必须有真实的 mechanism reference统计图则对照统计参照图。该工作流强调摘要、引文、caption、已保存文件名或引用计数都不是视觉检查。例如当可计数的标记声称表示某个分数时必须对照源数据核对计数、分母、保留的总量与类别含义标签属于其所描述的对象线条不得穿过有意义文字导出分辨率应按像素 ÷ 印刷宽度英寸计算有效分辨率放大一个小图不会增加细节。配套的本地工具可直接复用scripts/figure_comparison.py可将参考图/旧版图/候选图并排渲染为对比 PDF供审稿人按点坐标1/72 英寸裁剪导出视图scripts/preserve_figure_revision.py --paper-root paper --revision id --file paper-relative-file ...可在修改前将既有导出、可编辑源、必要资产与 caption 保留为命名修订版。审稿时应先陈述与选定参照例的最大差距判断其是由证据决定还是可修复的设计弱点而不是用分数或表单替代这一对比。八、与审稿策略的衔接balanced 与 strict 下 Method Reviewer 的激活规则Method Reviewer 是否被激活、以多深的方式运行由 review-policy.md 中定义的review_policy配置决定缺失或未知值时解析为balancedbalanced默认编辑上进取、流程上轻量。一位 Editor 通读手稿与渲染产物只在出现具体风险时才激活额外专家。此时不需要三个 reviewer persona、逐段论证矩阵或重复收据发现按严重级别处理CRITICAL 科学缺陷阻断MAJOR 仅当影响主论断、图文身份、引文真实性或交付可用性时才阻断MINOR/style 仅作建议。strict当用户明确要求严格审计、投稿认证、监管/合规审查或高利害最终包时启用。此时 Methods、Contribution、Clarity 三个核心角色独立运行再加 Editor 综合。在代码层面structured_review.py 根据paper_spine_config.json中的scenejournal / conference / report_review / competition为三个 reviewer 加载场景化默认 personareviewer-persona-registry.json 则是可替换的注册表而非总是运行的固定角色清单——methodspersona 的 activation 为strict。审查预算同样是天花板而非配额build_review_plan()按策略给出默认预算balanced 为 max_input_tokens 30000 / max_search_queries 8strict 为 90000 / 20可由review_budget覆盖并明确 stop rules当声明的覆盖问题已得到回答或达到预算上限即停止不为凑够最小 agent 数/搜索数/标注数而消耗 token。九、审稿产物的去向从 Method 发现到 Reviewer Objection RegisterMethod Reviewer 写出的独立 review 文件是后续 reviewer-audit 的直接输入。reviewer-audit.md 明确说明Objection Register 的每一行必须追溯到具体的 finding ID、精确的手稿定位符与 reviewer/tool receipt其核心映射为Methods Reproducibility Reviewer → 技术稳健性、证据充分性、可复现性、缺失消融/基线的异议Contribution Reviewer → 新颖性、显著性、与既往工作的区分、引文可信度Clarity Reviewer → 结构、论断清晰度、图表可读性、违反目标刊例的异议。例如模板中MET-002 — Missing baseline / ablationp. 7, Table 2, severity MAJOR与MET-003 — Unjustified assumptionp. 4, lines 112–118, severity MAJOR正是 Method Reviewer 四个维度中Missing controls or comparisons与Method validity and assumptions的直接落地。对应的检查器脚本 reviewer_audit_check.py 会校验reviewer_audit.md是否包含完整的 Reviewer Value Map 六个准则行、Objection Register 是否同时携带 Severity 与 Preemptive fix 列等。同时要重申角色文档的底线约束Do not impose new experiments merely to fit a preferred story...Method Reviewer 不得为了迎合某个更好看的故事而强加新实验也不得把只审阅了描述说成已独立复现。它产出的是一份只读的、证据可追溯的独立审查报告手稿的实际修改与修复由已获授权的写作宿主在其保存范围内实施审稿本身不授予任何外部行为权限。十、核心规则速查与进一步阅读Method Reviewer 的运转可浓缩为以下可执行要点沿用同一任务的 saved target / article type / research scope 与当前文件不臆造目标规则不做范围外新分析以writing_rationale_matrix.md与evidence_bank.md为上下文结合实际 methods/results、scripts、figures 与手稿段落审查缺失历史文件名或完整原始数组不否定用户已报告的工作区分具体科学矛盾与已提供但未独立复现发现按 Method validity and assumptions / Evidence-to-claim mapping / Missing controls or comparisons / Reproducibility concerns 四维组织每条发现给出定位、科学后果与相称修改建议并满足 evidence-grounded 四类链接约束先独立形成发现再读平行意见检查修订稿时历史反馈仍有效但结论必须独立图表审查必须实际读像素、数据/关系源与参照图遵循 scientific-figure-workflow不新造实验以贴合故事不把仅审阅描述说成独立复现。若要在当前仓库中继续深入建议按以下路径阅读角色定义 reviewer-method.md → 审稿策略 review-policy.md → 证据落地协议 evidence-grounded-review.md → 机器契约 evidence-review.schema.json → 实现 structured_review.py 与 evidence_grounded_review.py → 测试 test_structured_review.py 与 test_evidence_grounded_review.py。发布版同名文件位于 dist/codex/skills/paper-spine/agents/reviewer-method.md 及其 references 目录二者内容一致。赞分享AI 技能AI 写作人工智能深度研究AI 应用【免费下载链接】PaperSpinePaperSpine5 — local-first, evidence-bound paper research, writing, figures, review and delivery. Download: https://wubing2023.github.io/PaperSpine/v5/项目地址https://gitcode.com/gh_mirrors/pa/PaperSpine点击查看免费下载相关推荐PaperSpine 方法审查 AgentMethod Reviewer深度解析面向方法有效性与可复现性的独立审稿机制PaperSpine 方法审查 AgentMethod Reviewer深度解析面向方法有效性与可复现性的独立审稿机制 PaperSpine 的审稿体系中AI 技能AI 写作人工智能深度研究AI 应用PaperSpine 方法审稿 Agent 完全解析从方法有效性审查到可复现性判定的独立审稿实践PaperSpine 方法审稿 Agent 完全解析从方法有效性审查到可复现性判定的独立审稿实践 导读 本文深入解读 PaperSpine 5 论文生产工作流AI 技能AI 写作人工智能深度研究AI 应用PaperSpine 方法审稿人Method Reviewer Agent基于方法与技术正确性视角的独立审稿实践指南PaperSpine 方法审稿人Method Reviewer Agent基于方法与技术正确性视角的独立审稿实践指南 导读 本文聚焦 PaperSpineAI 技能AI 写作人工智能深度研究AI 应用创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考