研究揭示多示例学习最大池化的两处相变

Ethan Levien 与 Trevor GrandPre 发表研究，分析多示例学习（MIL）中最大池化导致的梯度消失问题。在袋子规模 n 与维度 d 的联合极限、α=ln n/d 固定的条件下，他们推导出梯度流的低维投影，并称该流存在两个相变：一个与无序系统随机能量模型相关的内在冻结相变，另一个是现代 Hopfield 网络中的检索相变。数值模拟验证了相图，以及有限规模训练梯度向预测渐近形式的收敛。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。