跳到正文
arXiv 量子物理· Ethan Seefried, Romit Ghosh, Sharmin Afrose, Nicholas Stapleton, Vicente Layton Ortega, Travis Humble, Tirthankar Ghosal·· 3 小时前AI 评分58

研究审计LLM量子代码生成评测:评测器设计可使同一模型得分从0%升至94.1%

Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation

AI 导读

研究团队在五个量子代码生成套件(530个任务)上评测15个模型,并在自建QuantumBenchEval(QBE,96个任务)上评测10个模型,同时审计输出有效性与评测器行为。

来源:arXiv 量子物理 · arxiv.org