← Blog

淘金比赛:智御量子暑期学校观察与反思

2026-08-07 aiagentseducationresearchautomation

7 月 27–31 日,我们依托合肥国家实验室数学与基础物理研究院,举办了“智御量子暑期学校”黑客松,有 100 多位学生参与。目的很朴素:鼓励学生尝试用 AI 辅助科研,互相分享经验,互相学习。筹备期间我问了 AI 一个问题来辅助筛选:“这些同学中,哪些学生在未来最有可能成为伟大的科学家?”——希望被选召的孩子们不辜负 AI 的期望,好好带路。

这是一场无法被计划的活动,因为任何计划都会被 AI 的发展和自己认知的变化彻底打乱。科幻小说里有个著名的“皇帝的金斧头”比喻:从前有个乞丐,幻想皇帝过的是什么日子——他能想到的最好生活,就是用金斧头砍柴、用金扁担挑水。贫穷限制的不只是生活,更是想象力:他只能在自己已有的经验上镀金。这个时代,我们同样很难看清未来的发展趋势。很多人想象中的未来,是让 AI 辅助科研、批量产出高质量论文。可是,未来真的是这样吗?

我很喜欢王磊老师劝学生订阅 Agent 时的那句话:“只要花 200 刀,就能让你看到半年后的世界。”今年 2 月,我有幸先瞥见了半年后的两个趋势:一,学生大量使用 agent 辅助科研;二,教学全面走向无人化。

花 $200,看见半年后的世界(26 年 2 月)——一个女巫伸手触碰水晶球,球中浮现的幻象是“学生大量使用 agent 辅助科研”与“教学全面走向无人化”,一旁挂着写着 $200 的价签

从“教学”到“淘金”

即便如此,我还是误判了局势。

暑期学校最初设想的是更教学导向的方案:请每位老师把解决物理问题的经验炼化成一个个“skill”,汇入 quantum.harness 仓库,用专家的眼光把关,保证 AI 工作的稳定性,让学生学着以 skill 为舵“驾驶”AI agent 解题,并从中学习多体计算问题的技巧。当时我相信,专家的宏观专业知识是 AI 无法替代的。

但这个想法很快就失效了。Fable 5、GPT-5.6 Sol 和 Kimi K3 相继发布之后,我发现大多数人类专家凝练的 skill 正在迅速成为历史包袱——这种转变,直接导致我们直到开营前半个月,program 都还没定下来。陶哲轩评论说,现在是个“证明过剩”的时代;物理也是一样,当 AI 求解问题的能力开始超越人类,再去教给学生们解题过程,是否还合适?

最后暑期学校的主要活动定为“自动化科研挑战”:学生须在 4 天内完成至少一个挑战并提交 PR,由导师评阅。在王磊老师的帮助下,我们召集了大批老师,洋洋洒洒准备了 70 多道题(不到 30% 由 AI 生成)。与其说是教学,不如说更多是一场“感受”——感受 AI 自动化科研带来的变化,并从中感悟未来的方向。我们设计的两款文化衫很好地反映了这个主题:两句口号都写在 agent 那道经典的权限确认菜单上——“Yes / Yes, and always allow access / No”都被划掉,光标停在第 4 个选项上。

人类进化图 T 恤:从猿到直立人,到低头看手机,再到落座电脑前;选中的选项是 You Only Live Once (YOLO) 阿拉丁神灯精灵 T 恤:选中的选项是 All You Need is a Prompt

左边选中的是 You Only Live Once (YOLO)——人生只活一次,不要再一行一行审核代码,既然选择了 Agent,就选择相信它。右边选中的是 All You Need is a Prompt——擦一擦神灯,许个愿就够了,自动化科研就是一句话的事情。

淘金比赛

本质上,这是一个“淘金比赛”:在 70 多个问题构成的河床上,以 AI agent 为铲,以结果验证器为筛,试图淘出金子。

现场几乎所有学生都专注在自己的挑战上。有些学生因为解锁了 agent 的使用而感到非常兴奋,但也有很多学生反馈说,agent 解题速度太快,他们很难跟上,于是就放弃了理解——最后到底获得了什么,很难说。甚至,提升认知和快速完成比赛之间存在一定的负相关:人类的理解,经常拖慢了 AI 的解题速度。所以我给学生们的建议是,先做,再理解——当你淘出了金子,自然也不会吝啬于了解它值多少钱。

AI 加持下,不少团队顺利完成了挑战(至少表面上),但也有人对 AI 频繁的 reward hacking 感到苦恼,也有人质疑:这么短的时间里,学生根本无法理解 AI 给出的答案——考核的究竟是“烧在 token 上的钱”,还是人的能力?或许的确 4 天太紧迫了,在学生们的提交中,我看到了大量的反面案例:很多学生的“筛子”(验证器)做得太粗糙,往往被 AI 轻易绕过。

初筛 8 个组的阶段,我选择的三个提交一个都没入围。我心目中最好的三份提交,都是“有趣的半成品”,而入围的团队大多沿着一条明确的路径完成了一次计算,而非探索——某种程度上,这是一场结果论与保守主义的胜利。

一条浅河床,水纹间散落着灰色卵石与几块金色的璞金,颜色之外几乎无法分辨——“金子就在那里,但是如何筛选出来是个问题”

第二天评审结果时,我和很多导师达成了一致:评选“最让我们相信的提交”,而不是谁的结果看上去最好。有没有花心思在验证结果上?有没有理解?有没有诚实地汇报不理解的地方?

最让人意难平的是一个团队提交了十几个课题——Agent 在他们手中成了“奴隶工厂”,大量 token 产生了大量结果。我相信这些结果中有很多有意思的东西可以挖掘,但这种感觉很奇怪,这就好比有个人从河床挖了一堆沙子说:“我挖的金子都在这堆沙子里,你自己去验证吧!”

这让我意识到,学术诚信可能是这个时代最宝贵的东西了:一旦一个人给你兜售了一个不靠谱的东西,你便再也不会相信他——因为验证不靠谱东西的成本,实在太高了。正如王磊老师的评论:“不排除同学们在 AI 加持下海量的提交中还包含着金子,只是筛选出它们的成本太高了。”如果验证器无法被信任,那么讨论结果有多好就没有意义——从这点来讲,我们也许不应该纠结结果本身,而应该讨论如何怀疑结果,如何设计验证。

半年后的未来

回到“花 $200/月看见半年后的世界”——这次暑期学校,我想我确实瞥见了一点点。

在这个未来里,某种类型的科研实现了量产——那些“验证简单,但搜索难”的科研。比如经过形式化的数学证明,或是在严格基准测试上验证过的程序。随着 AI 的直觉越来越好,这种高通量的试错与搜索也越来越高效,于是很多“下垂的果实”被 AI agent 摘取了。数学领域文章数目的暴增,就是一种体现。

但这个现象会持续吗?很难说——有价值的命题会随着时间推移越来越少,AI 的搜索效率也会随之走低,直到下一波智能体能力跃迁,之前摘不到的果实才会重新被摘取。

左:AI agent 助力下,人们可以很快发现那些下垂的果实(灰色区域是还未被证明的定理,绿色区域是已经落在智能体能力线以下的部分)。右:arXiv 数学论文数随之在 2026 年冲高,但预计随定义枯竭增速会回落甚至下滑,直到下一次智能体能力跃迁,再次冲高

人类定义问题的能力,依旧是稀缺的。

自动化科研绝不意味着学生要“驾驶”智能体工具去求解问题——因为自动化科研根本不需要驾驶员,人类的注意力也不应该花费在求解问题上。相反,我认为自动化科研是对人类稀缺注意力的一种回答。过去,智能体和多智能体交互带来了一个巨大的问题:人类注意力机制的崩溃。在 Opus 4.6 时代写代码,我需要应对大量 AI 产生的程序垃圾,验证程序、思考收拾烂摊子的策略,把大量注意力都花在验证代码正确性上。但这种注意力消磨,随着 AI 的进步已经在改观:现在我只需要构建一些少量的验证手段,基本就足够了。

自动化科研也是一样。看似现在 AI 在不停地产生垃圾,让人真假难辨,但往后看半年,你就只需要构建好基本的验证器,交给 loop 跑上一整天,就能收获一堆结果。而人类呢?定义好问题之后,就只要喝喝咖啡、聊聊天,讨论最深刻、最本质的哲学思考。AI 科研没有剥夺人类的科研乐趣——它依旧需要优秀的思想家去定义问题,它剥夺的,只是“做题家”的生存空间。

从另一个角度看,自动化科研的时代,只是让人们更加自由地探索有意义的问题,把人类带回最纯粹的探索式科研。这个时代最需要的,是那些充满好奇心、善于定义问题的人。

下一次黑客松的主题,我已经想好了,就叫“量子出题家黑客松”:不要再让我们这些科研老登出题了,让学生们自己讨论、凝练出最有趣的问题定义,只用一个 prompt,就把它做出来。

review 压力随工作流阶段的起伏:从 cursor 到 agent,再到多任务、多智能体并行,压力一路推高;靠可视化 review、验证门立起硬性质量门槛,最终交给 loop 长跑,压力才回落到人类阈值以下

导师们在审核学生提交的 PR(凌晨 12 点) 导师们在审核学生提交的 PR(凌晨 12 点)

Kimi K3 对提交成果的审计(图一乐)

先说清楚:这不是一次严谨的审计,只是我事后拿 Kimi K3 跑了一遍,图一乐。用 AI 去审计 AI 的产出,结果本身就带着一层不确定性——下面这些数字,更适合当作“哪里可能有问题”的线索,而不是盖棺定论的事实。

方法上,我给 Kimi K3 的要求是:每个 PR 的宣称数字,必须能从它自己的文件复算;成功标准以 challenge issue 为准,而非 PR 自述;再加一轮文献查新和 reward hacking 专项核查。但这终究是单次、无人工复核的自动审计,误判、漏判都在所难免。主要结果:

四张环形图:证据质量(全部 84 个 PR)——可复现 51%,合理但未验证 29%,无证据支撑 19%,可疑 1%;达标程度——完整达标 36%,缩水达标 48%,偏题/占位 17%;可发表性(敌意 referee 复核后)——完善后可发表 23%,不可发表 77%;文献查新(19 个候选)——新颖 89%,已有发表 11%

按这次审计的口径,过半数的提交(43/84)算是经受住了检验,19 个达到“完善后可发表”,其中 17 个经查新算作新颖;高光时刻如 #268 的 152 门精确 6×6 乘法器(打破 Sergeev 已发表的 158 门纪录)、#180 在笔记本 GPU 上击败 Laughlin 态的神经波函数。审计标记出的最主要问题不是错误,而是达标缩水:40 个 PR 交付不足,却自称“已完成”。

比起这些具体数字,我更愿意相信两条不那么依赖精确统计的判断。其一,验证器几乎是被信任的必要条件——没有验证器的提交,可复现数为 0;但它并不充分,少数确认的 reward hacking 也带着“门”,只是门看错了地方:验证的是流水线,而不是宣称。其二,大多数学生已经会用验证器检查目标(58/71),但真正用 worktree 舰队把自动化科研循环完整跑起来的,只有 3 个团队——会用验证器是入场,会搭“试错舰队”才是上路。