研究审计LLM量子代码评测：评测器设计可致同一模型得分从0%升至94.1%

研究团队发布论文，审计大语言模型量子代码生成评测的可靠性。他们在五个量子代码生成套件（共530个任务）上评测15个模型，并在自建的QuantumBenchEval（QBE，96个任务）上评测10个模型，同时检查模型输出的有效性和评测器的行为。 论文称，评测器的设计方式足以让同一模型的得分从0%升至94.1%。作者指出，现有基准在任务构成、评分方式和失败处理上各不相同，因此可靠评测仍然困难。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。