arXiv cs.AILhea Beumer
论文
Natural Gradient Learning in Predictive Coding through Lateral Circuits
AI 摘要
研究者提出 Natural PC 方法，在预测编码（一种不依赖反向传播的神经网络训练方式）中加入侧向回路，使网络能在局部、无需全局矩阵求逆的情况下完成自然梯度学习。在多个图像重建基准上，该方法在样本效率和计算效率上达到现有预测编码方法的最好水平；在 ImageNet 上，它以低一个数量级的计算成本和少两个数量级的训练样本，达到用 AdamW 及多种二阶优化器训练的反向传播相当的性能。
简评
目前主流 AI 训练依赖反向传播，耗电和算力需求巨大。这项研究让另一种更贴近大脑的学习方式在效率上追平主流方法，意味着未来训练大模型可能更省算力、更省数据，对降低 AI 成本和能耗是一条值得留意的技术路线。
- 预测编码
- 自然梯度
- 训练效率
- 类脑学习
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗