arXiv 物理· Ethan Levien, Trevor GrandPre·· 3 小时前AI 评分31
极端数据驱动学习中的相变:MIL 最大池化梯度下降的相变分析
Phase Transitions in Learning Driven by Extremal Data
AI 导读
研究多实例学习(MIL)中最大池化导致的梯度消失问题,在大袋子 n 与高维 d 联合极限、α=ln n/d 固定的条件下推导出梯度流的低维投影。该流存在两个相变:与无序系统随机能量模型相关的内在冻结相变,以及现代 Hopfield 网络中的检索相变。数值模拟验证了相图及有限规模训练梯度向预测渐近形式的收敛。
来源:arXiv 物理 · arxiv.org