自适应并行推理：高效推理扩展的下一个范式

自适应并行推理让推理模型自行决定何时分解并并行化独立子任务、开启多少并发线程以及如何协调。相比随探索量线性增长的串行推理，该范式可缓解上下文退化与延迟随推理长度成比例上升的问题。文章梳理了并行推理领域近期进展，包括作者参与提出的 ThreadWeaver。