3 美元算完专家一天的工作:当执行变便宜,什么才值得执行?
在 TheoPhysEval 的 50 道研究级理论物理题上,AI 智能体答对了 49 道,平均每题成本不到 3 美元,而这些题目需要顶尖专家算上一天左右。计算变便宜之后,更稀缺的是判断:哪些问题值得解决,结果该怎么验证。本文结合物理学界的讨论,梳理“算对”与“有价值”之间的差距、验证成本的上升和人才培养的难题,并给 AI 工具使用者提出四条建议。
一道研究级的理论物理题,顶尖专家大约要算一天。现在让 AI 智能体来算,平均每道不到 3 美元,约合人民币 20 元。出题人 Suvrat Raju 是印度班加罗尔国际理论科学中心的理论物理教授,他在一次报告中说,这比巴黎的一杯咖啡还便宜。
11 月 17 日,科技通讯 Understanding AI 发表了一篇长报道,作者采访了七位学者,问的都是同一件事:计算交给 AI 之后,理论物理学家还能做什么?
各人的反应差别很大。得克萨斯大学奥斯汀分校的 Andreas Karch 让智能体一天 24 小时不停地跑,还把自己的旧论文一篇篇交给 AI 查错。Raju 决定暂时不招新的博士生,想先看清学生将来的出路。麻省理工学院的 Daniel Harlow 比较平静,他说在自己的方向上,绝大部分工作是想清楚该做什么,等到有东西可算,事情已经完成了 95%。
物理学家今天碰到的问题,写代码、做分析、写报告的人也躲不开:执行越来越便宜,怎么判断什么值得执行?
98% 的正确率说明了什么
这项评测叫 TheoPhysEval,由 Raju 牵头,三十多位研究者参与,10 月 9 日发布,11 月 12 日更新。他们向同行征集了 50 道从未发表的研究级题目,每道都有可以验证的答案。只收未发表的题目是有原因的:大模型几乎读遍了互联网,公开讨论过的问题,它很可能早就记住了答案。
测试时,智能体只收到一次提示,之后自己查文献、写脚本、做数值和符号计算。成绩最好的是接入 Codex 的 GPT-6-Astra,50 道题答对 49 道,正确率 98%。(来源:TheoPhysEval)
成绩出来的过程有一段插曲。据 Understanding AI 报道,Astra 起初的正确率接近 90%。研究者把人写的参考答案交给它,想让它找出自己错在哪里,它却指出部分参考答案本身有细微的错误。复核下来,它是对的。Karch 承认,其中一份出错的答案就是他写的。
这个结果说明,一批过去要专家花上整天的计算,AI 已经能又快又准地完成。至于 AI 能不能独立做出重大发现,这项评测回答不了。论文作者也专门讨论了这个落差:解题能力如此突出,为什么至今没有出现由智能体主导的理论物理突破?
Raju 的说法是,这 50 道题已经接近“定义明确的计算”的上限,再往上就是开放研究,而开放研究做不成评测。一道题再难,已知条件、允许的假设和判对的标准都是现成的。开放研究往往要先把这些东西建立起来。
我们的看法是:计算的成本降下来以后,选方向和定标准的能力会更值钱。
算对了,还得有人在意
哈佛大学物理学家 Matthew Schwartz 是用智能体最激进的人之一。接受采访时,他的电脑上同时开着 20 个会话,每个会话带 10 到 20 个智能体。
10 月 1 日,他在 Anthropic 网站发表客座文章,介绍自己开发的开源工具 BootLoops,用来帮 AI 完成定量科学中的精确计算。有了这套工具,AI 发现物理里的算法可以搬到生态学、群体遗传学等十多个领域。但 Schwartz 很快注意到,这些结果几乎都算得没错,却要等领域专家帮忙调整方向之后,才变得有意思。
生态学的例子最典型。AI 解出了一个二十年来没人能大规模求解的方程,并据此算出:巴拿马一片被研究得最透的森林里,树种构成的变化速度是中性理论所允许的 4.5 倍。Schwartz 兴冲冲地把结果拿给生态学家 James O'Dwyer 看。对方认可技术上的难度,但也直说,许多同行看了只会“耸耸肩”,因为这个结论大家早就定性地知道了。O'Dwyer 接着提了一个更好的问题:把中性理论的预测扣掉,看剩下的部分说明什么。合作由此转向,最后得到一个与观测数据吻合得很好的预测模型。(来源:Claude-shaped science)
要提醒一句:这篇文章发表在模型厂商的网站上,Schwartz 在项目期间是 Anthropic 的访问研究员,所用的模型额度也由 Anthropic 提供,读的时候应当和独立评测分开看。
类似的事在 OpenAI 那边也有。Understanding AI 提到,OpenAI 在 10 月宣布,其模型证明了纯杨-米尔斯理论在四维时空中的数学存在性。证明长达 1147 页,专家组审查了它的 Lean 形式化版本后确认无误。这是数学物理中悬了几十年的难题,可报道里物理学家的普遍反应是:技术上了不起,但它坐实的是大家早就相信的事。
对使用 AI 工具的人来说,这意味着在准确率之外还要多问一句:结果是对的,然后呢?一份报告可以没有任何事实错误,却帮不了谁做决定。一段代码可以通过全部测试,解决的却是没人遇到的问题。
评价一个 AI 工具,除了看它产出了多少,还要看它把事情往前推了多少。跑得快当然好,前提是方向值得跑。
生成快了,验证就贵了
变化已经反映在数据上。报道统计,今年 1 月到 10 月,arXiv 高能物理理论(hep-th)类别收到的论文比去年同期多了约 30%,而此前二十年里,年增幅最高只有 8%。
这些论文质量如何?Schwartz 的判断是,很多写得不好,但科学上大概站得住。麻烦在于没有人读得过来。理论计算机科学家 Scott Aaronson 打了个比方:这就像一场没有尽头的自助餐,菜再好,一个人又能消化多少?
Schwartz 自己也吃过亏。他在文章里说,模型很爱“宣布胜利”。有一次它报告证明已经完成,只差一个尚未证明的引理,而那个引理就是整个证明。所以每一张图他都坚持自己看,自动检查的结论不敢全信。
我们由此想到,验证应该被当成工作流里的正式环节来设计。交给 AI 的计算任务,可以要求同时交付能运行的脚本、参数和中间结果。文献整理类的任务,可以要求每条结论都标明出处。模型提出新解释时,让它写清楚适用条件,以及什么样的证据能推翻这个解释。
“再找一个 AI 检查一遍”有用,但算不上独立证据。两个模型可能有相似的知识盲区,也可能一起接受同一个错误前提。有分量的复核要换一种方法、换一批数据,或者加上新的约束。
生成环节省下来的时间,得拿出一部分花在验证上。不然产出越快,没被发现的错误也攒得越快。
能外包的功夫,还要不要自己练
报道里最让人不安的部分是人才培养。过去,做计算是年轻物理学家的必经之路,名声和直觉都是这么攒出来的。Karch 说,机械地把题目一道道磨过去,磨得够多,背后的概念自然就懂了;如果计算都交给 AI,这一步怎么跳过去,他也不知道。Schwartz 在文章里同样承认,他不知道现在该怎么带研究生。
程序员、分析师、写作者面对的是同一个问题。经验多半来自慢功夫:亲手做过,踩过坑,才知道一个看起来很顺的答案可能错在哪里。
我们的建议是,按学习目标来决定自动化到什么程度。已经熟练的环节,放心让 AI 提速。还没形成判断力的环节,留出自己动手的练习。学习的时候,让 AI 展示推导过程、举反例、解释为什么失败,比直接拿走最终答案收获更大。
团队的培训和考核也可以跟着调整。除了看任务有没有完成,还可以要求讲清前提、找出错误、复现关键步骤,并说明结论在哪些场合不能用。
会用工具是一回事,能为工具的结果负责是另一回事,两样都得练。
给 AI 工具使用者的四条建议
- 动手之前先定交付标准:这个任务是为哪个决定服务的,拿到什么证据才算可以接受。
- 先把边界清楚的环节交给 AI,比如检索整理、数据处理、代码实现和结果复现,再逐步扩大范围。
- 要求输出附带验证材料,包括来源、假设、代码、失败记录和不确定的地方。
- 把人的注意力留给重要判断,尤其是问题值不值得解决,结果在真实场景里是否适用。
哪些环节该由人把关,并没有一成不变的答案。Schwartz 预计,到明年夏天,AI 就能自己完成研究中大部分需要创造力的步骤。今天要靠人把关的环节,过一阵可能也会被自动化。更稳妥的做法是定期重新检查:手头的工具在哪些步骤上已经稳定,在哪些步骤上还需要额外的证据。
下次打开 AI 工具之前,可以先写下两句话:我想让这个答案帮我做什么决定?我打算怎么确认它是对的?
参考来源(均为英文)