Classical Energies Learn to Reason 1,000x Faster than Looped Models

AI 摘要

研究者提出一种名为 CRAM 的方法，基于 1980 年代 Hopfield 与 Tank 提出的能量模型的学习版本，用能量下降替代循环模型来求解推理类谜题。在单块 GPU 上，CRAM 训练 42 毫秒后解出 99.996% 的 Sudoku-Extreme 测试题，训练 132 毫秒后解出 100% 的 Maze-Unique 测试题，速度至少比循环模型快 1000 倍；在 Sudoku-Extreme 上达到循环模型最高准确率时，推理 FLOPs 至少少 282 倍。作者据此认为能量方法是训练推理能力的有前景方向，并提醒 Sudoku、Maze 这类易解基准不宜用于检验循环推理技术的可扩展性。