arXiv 量子物理· Ethan Seefried, Romit Ghosh, Sharmin Afrose, Nicholas Stapleton, Vicente Layton Ortega, Travis Humble, Tirthankar Ghosal·· 3 小时前AI 评分58
研究审计LLM量子代码生成评测:评测器设计可使同一模型得分从0%升至94.1%
Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
AI 导读
研究团队在五个量子代码生成套件(530个任务)上评测15个模型,并在自建QuantumBenchEval(QBE,96个任务)上评测10个模型,同时审计输出有效性与评测器行为。
来源:arXiv 量子物理 · arxiv.org