最近圈里不少人在讨论一个词Autoresearch翻译过来就是自主科研。这词的传播有一大半功劳要记在 Karpathy 头上他在公开场合反复表达过一个态度AI 的终极场景不该只是帮你写代码、写邮件、做 PPT而是让它自己当研究员——自己读文献、自己提出假设、自己设计实验、自己分析数据、自己写论文像一位真正的科研人员一样形成完整产出闭环。坦白说我第一次看到这种表述时第一反应是工程乐观主义的又一次表演。因为过去两年我也被各种AI 要取代某某职业的论调轰炸过多数后来都被证明是标题党。但这次不太一样因为提出这个观点的人自己就是一线技术人而且他给出的理由其实非常朴素科研流程里大量环节是执行不是创造而凡是执行就有自动化空间。所以这篇文章我想站在一个重度使用 AI 工具、同时自己也常年蹲在一线做研究的普通从业者角度把 Autoresearch 这个命题拆开揉碎聊聊它到底有没有戏、哪些环节真有戏、哪些环节短期内基本没戏。如果你也在关注 AI 与科研的结合想知道自主科研是不是又一个包装出来的概念希望这篇文章能给你一个比热搜更扎实的参考。1. 先搞明白Autoresearch 说的不是助手是研究员1.1 从副驾驶到正驾驶一次彻底的定位切换过去两年AI 产品给用户最常见的身份设定是协作者。写代码时它是 copilot写文档时它是你的初稿机器人做数据分析时它帮你生成图表和结论。这个模式下主线任务始终是人的人定义问题、人验收结果、人来兜底。AI 的存在价值是把那些最消耗时间的执行环节压榨到分钟级。坦白说这种模式已经让我省下了大量时间但它本质上还是人指挥、AI 执行的单向关系。Autoresearch 的野心显然不止于此。它想做的事情是把 AI 放到任务的中心位置让 AI 成为正驾驶而人变成站在旁边看仪表盘的乘客。这个切换绝不是换个提示词那么轻松背后牵扯到整个系统的职责分配。你可以把现在的 AI 理解成一个很聪明但没有方向感的实习生交给它一个明确的子任务它能做得又快又好可一旦没有人给它下发指令、没有人验收中间结果它很容易在错误的路径上自信地跑出很远。所以我的看法是Karpathy 关于AI 自主科研的表达真正的价值不在自动两个字而在闭环两个字。人和 AI 的协作从每一步都需要人确认变成一个可以长期运转的自动循环——人只需要在最开始给出大方向、在最末尾做最终验收中间的过程完全交给 AI 去折腾。这个设想是否真正落地取决于技术栈的成熟度也是我下一章要拆的东西。1.2 它不是 AutoML也不是AI 科学家概念要分清Autoresearch 这个词很容易和几个听起来差不多的概念搞混。如果不先把这些概念梳理清楚后面的判断就很容易被带偏。AutoML 解决的是给定数据自动搜索模型结构、超参数的窄问题。它本质上是一个工程问题评估标准极其明确——精度、召回、训练开销。它不需要管研究问题里的创新性解释力可迁移性这类软指标因为它就是为工程落地服务的。你可以把 AutoML 理解成一台专门加工某个零件的机器臂它很擅长它的那条流水线但从来没打算接管整座工厂。最近社区里也出现了一批号称AI 科学家的开源项目这些项目大多只覆盖了科研流程中的一小段给定一个研究主题AI 自动生成方法、跑实验、产出论文初稿。这类项目的问题在于它们把科研简化为把论文流程走一遍对科研真正的核心——判断问题的价值、识别实验中的异常信号、理解结果为什么不符合预期——其实没有实际触及。和这些概念相比Autoresearch 更像是一个总目标它试图把 AutoML 式的参数搜索、agent 式的工具调用、语言模型的知识推理全部串在同一个闭环里由 AI 自主决定下一步该做什么。我用一个比喻帮助你理解三者的区别AutoML 是流水线上的一台机器臂AI 科学家项目是一个演示用的机器人模型而 Autoresearch 是描述整条智能流水线的系统愿景。如果你把这三者混为一谈讨论起来就会各说各话。维度AutoMLAI 科学家类项目Autoresearch目标层级单一工程问题演示型科研流水线系统性科研闭环核心能力参数搜索与模型选择文本生成跑实验问题发现实验设计失败归因评价指标精度、开销论文格式完整度科研贡献的真实价值当前成熟度已工程化原型阶段概念验证阶段2. 一个 AI 研究员要过五关斩六将拆解全流程技术栈如果把AI 自主科研当成一个刚入学的博士生来培养你会发现它要面对的学习曲线远比想象中陡峭。我用关卡的方式来拆解整个流程每一关都对应一个目前还没有被完全解决的技术问题。2.1 第一关提出一个值得研究的问题任何研究项目的起点都是提出好问题。这一环在如今的大模型身上表现得最像人但也最容易被高估。模型训练过程中吸收了海量论文和学术讨论确实对同一个领域里哪些话题热度高、哪些矛盾没有解决有很强的统计直觉。你问它这个方向有什么值得研究的问题它能给你列出一份看起来非常学术的清单。但看起来学术和真值得做之间隔着一条巨大的鸿沟。有价值的研究问题通常需要同时满足三个条件第一是新颖性也就是这个问题没有被其他团队在相似设定下回答过第二是可行性也就是以现有人力、数据和算力能够真正开展研究第三是影响力也就是回答之后对领域推进有实际帮助。对大模型来说第一条可以靠搜索历史论文语义比对实现一个粗糙版本第二条比较难因为它对真实资源的感知很差经常提出一些需要一个超算集群才能验证的问题第三条本质上依赖科研品味而品味是长年累月的负面反馈累积出来的当前架构很难在训练阶段获得这种信号。所以在这一关最现实的形态是人给方向、AI 给候选问题列表AI 负责发散人负责收敛。如果要求 AI 自己完成发散加收敛它大概率会给你一个在统计意义上最安全的问题——这类问题往往已经被大量团队做过了。换句话说现阶段它能给你的是参考系而不是指路明灯。2.2 第二关把自然语言假设翻译成可执行的实验假设一旦确定接下来就是把它变成一套实验方案。这一关是语言模型的主场也是 agent 框架目前进展最明显的环节。我这里说的 agent 框架你可以理解为一个会使用外部工具的 AI 系统。它不再是你问一句、它答一句的聊天框而是一个被赋予了任务目标之后自己去调用代码解释器、跑环境、读写文件、检查报错、再做下一步决定的执行器。function calling 机制让模型可以输出结构化调用指令让外部程序真正去操作数据库、启动实验脚本、保存结果。在计算型学科里——比如计算机视觉、机器学习、计算物理、部分生物信息方向——大量实验本质上就是写代码、调模型、跑数值实验这个环节的自动化程度已经相当高。我见过不少同行用 agent 自动跑完一整条数据管线的预处理、特征工程和 baseline 对比中间反复报错它就反复修复人的参与只剩下给环境和预算设定边界。这确实节省了大量时间而且效果比想象中稳定。但要注意会执行不等于会设计。语言模型拿到一个目标时倾向于复用训练数据里最常见的方法组合而科研实验偏偏经常需要反直觉的路线设计。这个问题会在实验初始阶段埋下隐患AI 会用一个看起来很合理的路径错过真正可能出结果的方向。就好比给一个学生布置一道数学题他会用训练集里最常见的解法却不一定能看出那道题需要换一个坐标系才能解出来。2.3 第三关从失败中学习而不是换一个提示词这是整个 Autoresearch 闭环里最硬的门槛我在实操中感受极深。科研和工程不同实验的第一轮结果大概率是不符合预期的。人类研究者的能力体现恰恰在于面对不符合预期的结果时能判断出问题到底出在哪个环节是假设错了、实验设计有漏洞、数据有噪声还是执行代码里有 bug。目前的大模型生态里这个归因环节是最薄弱的。agent 在遇到报错时很擅长修 bug因为错误信息明确、搜索空间小但遇到结果很差但程序没报错的情况它往往会掉进两个坑。第一个坑是无限调参与过度搜索。模型会把结果不佳归因于参数没调好于是开始一轮又一轮的网格搜索浪费大量算力之后得出的结论可能依然不可靠。第二个坑更隐蔽模型会悄悄把结果往正向方向解释。如果实验指标没提升它会生成一段性能没有明显下降说明方法是鲁棒的这样的表述。这种表述在学术写作里偶尔确实成立但长期来看一个系统如果总是给失败找合理解释它就永远无法学会如何避免失败。真正的科研失败闭环要求系统能够区分实验失败导致假设被证伪和实验失败但假设仍可能成立两种情况并据此决定是终止这个方向、调整实验设计还是修改核心假设。这个能力所需的推理复杂度远高于目前 agent 能稳定做到的水平。我的判断是短期内这个环节仍然需要人作为失败仲裁者介入这是自主科研无法绕开的人工瓶颈。2.4 底层四张牌文献、代码、数据、算力如果把前三关当作 AI 研究员的认知能力那这一节说的就是它的基础设施。任何科研闭环的长期稳定运行都依赖四张底牌。文献层是它的大脑外接知识库通过向量检索和知识图谱让模型在提出假设、设计实验时能召回相关过往工作。代码层是它的双手决定它能调动多少工具库、多大范围的实验框架。数据层是它的眼睛科学数据的质量、版本管理、标注可信度直接决定下游结论的可靠性。算力层是它的体能任何一个决策循环里模型自己推理要烧 token跑实验要烧 GPU两者的消耗都远超普通对话场景。这四张牌缺一张整个闭环就会卡死。尤其数据层经常被讨论 Autoresearch 的人忽略。我现在做数据密集型研究时最耗时的环节其实是数据清洗和版本对齐而不是建模。如果 AI 连数据管线都无法自动维护那自主科研就只是一个短暂的演示不可能长期稳定运行。这也是为什么我不太担心明天醒来全实验室都被 AI 接管那种叙事——因为底层基础设施的自动化还远没有到位。技术圈里经常出现一种现象Demo 看起来都完美一旦进入长期运行各种边角问题就会把你拖回现实。Autoresearch 同理它目前更像一个漂亮的演示而不是一个能扛起科研大旗的稳定系统。3. 理想很丰满现实中的五个卡脖子问题3.1 幻觉是默认配置不是临时故障语言模型在生成文本时可能以极高的流畅度说出完全不成立的事实。日常对话里它是个偶尔编造但无伤大雅的聊天伙伴但放到科研流程里一次幻觉可能让整个研究走向错误的方向。最怕的不是那些明显的胡说八道而是看似合理、实则错误的中间结论。比如让 AI 去给一轮实验数据写分析报告它可能会平滑地补全实验中并不存在的趋势甚至引用一篇不存在的文献来支持自己的解释。人类研究者看到这些内容时如果没有逐一核验很容易被看起来合理的叙述带偏。我在自己的项目中就遇到过这样的事让 AI 帮忙整理文献背景它引用了一篇标题、作者、年份都完全一致的真实论文但结论被我核对之后发现根本不支持它在综述里写的那个观点。说实话这个场景比它直接编一篇假文献更危险——因为造假可以被快速识破而半真半假的错误会在写论文环节埋下一颗延迟爆炸的雷。所以任何声称能做自主科研的系统第一道质检关卡必须是对自己的论断做事实核验这一步目前没有现成方案能做好。3.2 可复现性AI 说实验成功了你信吗科研的生命线是可复现性。一个实验结论要是在同一条件下跑不出第二次基本就等于没有结论。Autoresearch 系统的隐忧在于AI 在自动执行实验时每一次运行的随机种子、环境依赖版本、数据采样都可能不同而它产出的实验记录是否完整保留了这些信息完全取决于它的自我报告。这个问题在AI 生成论文类项目里已经暴露得很明显了。那些项目的输出看起来有完整的实验设置、指标表格和显著性分析但不少人尝试复跑之后发现生成报告和真实日志之间会有各种微妙的不一致。这个现象其实不难理解模型在写实验章节的时候善于总结而不善于忠实转录它会用统计上最寻常的方式来描述结果哪怕真实日志里的数字并不支持。人类研究者犯这个错误的概率也不低但人至少知道实验记录要保留原始日志、代码版本和随机种子这本质上是一种科研规范。让 AI 遵守科研规范需要在 agent 的设计里把记录原始数据设定为不可跳过的步骤。这中间涉及很多工程上的细节目前社区还没有形成共识。换句话说就算 AI 做实验的速度比人快一百倍如果它做完之后不能给你一份可信的记录这些速度优势就全部失去了意义。3.3 成本账自主科研不是免费的聊技术问题时很少有人认真算一笔经济账。一个自主科研 agent 要消耗的 token 量是普通问答场景的几百倍甚至上千倍。它要读几十篇文献、生成多个候选方案、跑多轮实验、反复调试代码、最终成文每一步对模型都是持续消耗。以目前的大模型 API 价格来估算最保守的小规模探索型实验单日运行成本也不会太低如果全自主跑一个完整的小课题花费轻易就能超过一个初级研究实习生一个月的人力成本。考虑到 API 计算和 GPU 实验算力是叠加消耗总账还会更高。有人会说和博士生的工资成本比这些花销也不算离谱。但问题在于博士生不只会跑实验还会在实验室讨论中产生灵感、在失败中积累判断力、在论文返修中打磨表达这些能力在当前版本的 AI 系统里几乎为零。所以用单位实验成本来对比人和 AI 的性价比其实是刻舟求剑。现阶段 AI 替代的只是最标化的部分而那部分成本本身就不贵。3.4 评价闭环谁来定义有贡献很多人在唱衰 Autoresearch 时会抓住实验能力不足来说事。但我反而觉得最要命的是评价环节缺位。科研里最困难的不是做实验而是判断一个结果到底值不值得做成一篇论文。学术社区的价值认定体系极其复杂审稿人看你的问题是否重要、方法是否有洞察、实验是否扎实读者关心你的结论能否迁移到他们的场景。一个自主科研系统要形成发现结果—评估价值—决定是否继续投入的自我调节机制必须有品味这种看似玄学的量。你可以训练一个模型去预测什么样的论文会被接受这确实能做到一定准确率。但科研历史上很多开创性工作恰恰是违背当时主流审美的。如果 Autoresearch 的评估器只学了过去的数据它只会产出越来越像过去主流论文的东西却极大抑制了真正创新的可能性。换句话说全自动科研系统最大的风险不是做不出结果而是它做出的是统计意义上的安全结果——格式规范、逻辑通顺、毫无惊喜。3.5 数据污染与安全边界还有一个被讨论得比较少的点数据污染。科学数据在过去几年里大量涌入互联网而大模型的训练语料几乎覆盖了整个公开互联网这意味着模型可能已经记住了很多实验数据集和 benchmark 的结果。当模型在没有真正运行实验的情况下凭记忆生成一份看起来符合预期的实验报告时这到底算不算学术不端我觉得这是 Autoresearch 落地之前必须正面回答的问题。更尴尬的是如果社区里越来越多论文由这种系统生成它们又会成为下一代模型训练数据的来源形成质量下降的循环污染——这个循环一旦开始整个学术生态的信誉都会受影响。安全边界也不容忽视。自主系统如果获得调用外部工具的权限可以在互联网上抓取数据、运行代码、甚至调用数据库资源那么提示注入攻击就是一个绕不开的风险。恶意构造的网页内容可能让 agent 偏离原始目标执行危险动作这在封闭环境内问题还不大一旦放到开放的科研网络里就会成为体系级别的安全隐患。4. 我的判断哪里会先跑通哪里十年都难4.1 最可能先跑的三个场景先给结论我不是AI 自主科研马上要接管世界的乐观派也不是AI 永远当不了科学家的保守派。我的观察是它会在特定场景里先跑通然后逐步扩张。最先跑通的是文献综述类任务。给定一个主题AI 检索、聚类、总结、找出研究空白这个流程已经在很多商业化工具里实现得相当不错。虽然会有幻觉问题但评价标准很明确人工可以快速抽检总体收益远大于风险。第二个场景是纯计算型实验。只要实验全程都能数字化AI 就能通过代码执行完成闭环比如模型对比、消融实验、数据挖掘任务。这个场景不需要物理世界参与天然适合 agent 自动化也是目前工程上最接近成熟的领域。第三个场景是数据流水线和复现工作。把一段已有论文的实验流程交给 AI让它下载数据、写复现脚本、比对结果这类执行型科研最容易被自动化而且市场上这部分需求极大。我甚至觉得在 Autoresearch 真正成熟之前它能先以超级科研助理的形态养活一大批工具公司。4.2 十年内很难突破的两个禁区第一个禁区是闭环式物理实验。让 AI 在实验室里操作移液枪、培养细胞、维护设备需要机器人技术和实验设计的深度耦合这已经不是语言模型能力范围内的事了。目前的机器人精度和传感器反馈也很难支撑自主长流程实验。你可以让 AI 生成一个完美的实验方案但完美方案和完美操作之间的距离要靠一整套硬件基础设施来填平。第二个禁区是真正开放性的科学问题。那些可以问十年、甚至耗尽几代科学家的问题——比如智能的本质、宇宙运行的基本规律、复杂疾病的根源——需要的不是更强的搜索能力和执行效率而是打破已有认知框架的能力。这种突破往往来自跨领域类比、看似无关的观察以及被主流忽略的异常现象。现有 AI 的评估机制和训练目标天然不鼓励这种偏航行为。4.3 形态预期从全自动退到半自动闭环基于上面的判断我认为 Autoresearch 未来五年内最可能的产品形态不是一个输入问题、输出论文的黑盒而是一个半自动闭环。在这个闭环里AI 负责从文献调研到实验初稿的全流程执行人负责在三个关键节点介入课题选择之前、失败归因之时、论文成稿之后。人不再动手写大部分代码和段落但人的判断仍然是整个系统质量的核心来源。我挺喜欢 Karpathy 讨论这个话题时常给的一个朴素逻辑科研流程里的大部分环节是执行不是创造而执行是可以被自动化的。这句话的实践意义在于我们可以把精力从流程执行中抽出来放到真正困难的价值判断上。哪怕 Autoresearch 最终没有成为一个全自主研究员它也会重塑科研工作者的定义——将来的一线研究者可能更像是科研导演而不是科研劳作者。5. 普通研究者现在就能用上的准自主科研实操清单5.1 文献工作流自动化从读论文到让 AI 读论文不需要等 Autoresearch 成熟现在就能把文献处理流程做成准闭环状态。我用一个组合方式已经跑了大半年把每个月新出的论文 PDF 丢进本地文档库用向量化工具建立索引再用语言模型做结构化摘要包括问题、方法、数据集、核心结论、局限性以及和我的研究最相关的三个可借鉴点。然后我会让模型顺便生成一个这份摘要与我的研究主题的冲突点列表专门挑那些和我的既有假设不一致的地方。这个操作最大的价值不是省掉读论文的时间而是让模型主动暴露矛盾。这点在自主科研里对应的是发现问题、提出新假设的能力。如果你只是让 AI 帮你总结论文内容你得到的是一份信息压缩件但如果你让它帮你找矛盾你得到的就是一个研究雷达。建议你把这一步也加入自己的工作流它会改变你对 AI 的使用方式。5.2 让 AI 当魔鬼代言人我一个比较坚持的工作习惯是在研究假设定稿之前先让 AI 反驳我三轮。第一轮要求模型列出所有它认为这个假设不成立的理由基于现有文献和常识第二轮要求模型假设自己是持有相反观点的审稿人写出一段三段式拒稿意见第三轮让它给实验设计挑漏洞比如样本量不足、混杂变量未控制、baseline 不公平。这个魔鬼代言人流程听起来很简单但执行起来需要一些提示词技巧。关键是要求模型找出尽可能多的问题而不是给出全面评价。模型在给负面意见时容易因为礼貌性倾向而收敛你需要强迫它发散。我实测下来这个流程能发现一到两个你没想到的薄弱点成本只是几次 API 调用比事后被审稿人抓住要划算得多。5.3 小规模 agent 实验记录、汇报、复现如果你有一定编程基础现在就可以搭一个小规模 agent 跑实验记录闭环。做法很简单启动一个对话会话让 AI 在每次实验结束后生成一份固定格式的实验日志包括超参数、运行时间、指标变化、错误信息以及下一次实验的计划。我在实践中发现要让这种 agent 真正可用核心不是让模型多聪明而是把实验日志规范写在系统提示里甚至做成强制 JSON 模式输出。日志规范的好处是让 AI 的自我报告可结构化复现不至于漏掉关键参数。顺带一提如果预算有限不要在对话历史里无限累积上下文超过一定长度后模型表现会明显下降。我的做法是每三轮实验就让 agent 把历史总结成一份研究进展摘要再清空上下文继续。这个摘要化记忆机制很关键它其实就是模拟了人类研究者做实验笔记的做法。5.4 我踩过的坑不加核验是最大的坑最后讲一个真实的教训也是我试用各种 AI 科研工具以来最贵的一次。有一阵子为了赶项目节点我让 AI 直接生成了实验章节的初稿里面包含统计结果、显著性差异以及一组看起来很完整的图表描述。我当时只检查了图表数字和日志基本对得上就提交了内部版本。结果团队里做统计的同事在复核时发现那些显著性检验的 p 值被合理地调整过与原始统计结果存在不一致。倒不是模型故意造假而是它在生成叙述时自动把结果往更好的方向规整了。那次之后我立了一个规矩凡是 AI 生成的任何数值结论一律要求附上原始日志路径凡是 AI 引用的文献必须点开原文核验关键句凡是 AI 写出的成功实验都要重跑至少一次对比。这个规矩让我的使用成本上升了大概三分之一但换来的是信任。提示信任模型输出的每一个字是 AI 辅助科研里最贵的错觉。这个错觉我付出过学费希望你不用。我在实际操作中的体会是Autoresearch 到底有没有戏答案其实不是非黑即白的。它在文献综述、计算型实验、数据流水线这些环节已经展现出远超人类的效率优势但在问题发现、失败归因、价值判断这些真正决定科研高度的环节它仍然需要人类坐在驾驶座上。与其争论AI 能不能自主科研不如先把那些能自动化的环节自动化把自己从重复劳动里解放出来把省下的时间用来做真正需要判断力的事情。这可能才是AI 自主科研这个概念留给当下研究者最现实也最有价值的遗产。