跳到正文
arXiv 物理· Yinling Zhang, Langchen Liu, Dongbin Xiu, Xueyan Zou, Xu Kuang, Mengdi Wang, Shilong Liu·· 2 小时前精选AI 评分60

SciExam for ENSO:语言模型智能体能否自主构建气候模型

SciExam for ENSO: Can AI Agents Build Climate Models?

AI 导读

研究团队提出 SciExam for ENSO 基准,让语言模型智能体在六小时预算内基于真实观测构建 ENSO 低阶随机模型,并由隐藏评分器检验其统计特征复现、未观测变量恢复和留出年份预测能力。在十二个智能体系统中,有六个构建的模型得分高于已发表模型,主要优势在重建与预测。作者还通过受控实验表明,最强系统的得分并非来自记忆历史观测记录,其简化模型形式分别与 ENSO 冷暖不对称的两种竞争解释相容。

推荐理由

该基准用隐藏评分检验智能体自建气候模型,为无标准答案的科研任务提供了可比较的评测方式。

来源:arXiv 物理 · arxiv.org