arXiv 物理· Yinling Zhang, Langchen Liu, Dongbin Xiu, Xueyan Zou, Xu Kuang, Mengdi Wang, Shilong Liu·· 2 小时前精选AI 评分60
SciExam for ENSO:语言模型智能体能否自主构建气候模型
SciExam for ENSO: Can AI Agents Build Climate Models?
AI 导读
研究团队提出 SciExam for ENSO 基准,让语言模型智能体在六小时预算内基于真实观测构建 ENSO 低阶随机模型,并由隐藏评分器检验其统计特征复现、未观测变量恢复和留出年份预测能力。在十二个智能体系统中,有六个构建的模型得分高于已发表模型,主要优势在重建与预测。作者还通过受控实验表明,最强系统的得分并非来自记忆历史观测记录,其简化模型形式分别与 ENSO 冷暖不对称的两种竞争解释相容。
推荐理由
该基准用隐藏评分检验智能体自建气候模型,为无标准答案的科研任务提供了可比较的评测方式。
来源:arXiv 物理 · arxiv.org