自适应并行推理:高效推理扩展的下一个范式
自适应并行推理让推理模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。相比随探索量线性增长的串行推理,该范式可缓解上下文退化与延迟随推理长度成比例上升的问题。文章梳理了并行推理领域近期进展,包括作者参与提出的 ThreadWeaver。
自适应并行推理让推理模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。相比随探索量线性增长的串行推理,该范式可缓解上下文退化与延迟随推理长度成比例上升的问题。文章梳理了并行推理领域近期进展,包括作者参与提出的 ThreadWeaver。
Berkeley AI Research 提出 GRASP,一种面向学习动力学(世界模型)的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开经由高维视觉模型的脆弱状态输入梯度,使长时程规划更实用。
Berkeley AI Research 介绍 SPEX 和 ProxySPEX 两种算法,用于在大规模 LLM 中识别关键交互。方法以消融归因为核心,通过移除输入片段或组件并测量预测变化来衡量影响。随着特征、训练数据和模型组件数量增长,潜在交互数呈指数级上升,穷举分析在计算上不可行。
伯克利 AI 研究团队提出一个以互信息为核心的成像系统评估与优化框架,仅用带噪测量和噪声模型即可量化测量对物体的区分能力。该信息指标在四个成像领域预测系统性能,优化后得到的设计与 SOTA 端到端方法相当,同时内存和算力需求更低,且无需任务专用解码器设计。相关成果发表于 NeurIPS 2025 论文。