arXiv研究：基础模型蒸馏出2万参数喷注标记器

arXiv 上一项预印本研究把 6 个教师模型（含 2 个基础模型）蒸馏进 5 个小模型，用于喷注标记（jet tagging）。作者 Jay Agarwal 等称，每个教师都能提升每个学生，增益主要取决于教师强度。 蒸馏后的 L-GATr-slim 仅 2 万参数即超越所有已发表的从头训练喷注标记器；2000 参数时与参数量高 1000 倍的 ParT 持平。研究还发现，同尺寸学生的推理速度可相差近一个数量级。代码与全部训练模型权重已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。