跳到正文
arXiv 物理· Ethan Levien, Trevor GrandPre·· 3 小时前AI 评分31

极端数据驱动学习中的相变:MIL 最大池化梯度下降的相变分析

Phase Transitions in Learning Driven by Extremal Data

AI 导读

研究多实例学习(MIL)中最大池化导致的梯度消失问题,在大袋子 n 与高维 d 联合极限、α=ln n/d 固定的条件下推导出梯度流的低维投影。该流存在两个相变:与无序系统随机能量模型相关的内在冻结相变,以及现代 Hopfield 网络中的检索相变。数值模拟验证了相图及有限规模训练梯度向预测渐近形式的收敛。

来源:arXiv 物理 · arxiv.org