基础模型能为高效 jet tagging 蒸馏到什么程度？

研究在 jet tagging 基准上把 6 个教师模型（含 2 个基础模型）蒸馏进 5 个小模型，发现每个教师都能提升每个学生，增益主要取决于教师强度。蒸馏后的 L-GATr-slim 仅 2 万参数即超越所有已发表的从头训练 jet tagger，2000 参数时与参数量高 1000 倍的 ParT 持平。同尺寸学生推理速度可相差近一个数量级，代码与全部模型权重已开源。