Theoretical Limits of Language Model Alignment

AI 摘要

苹果机器学习研究团队发表论文，从信息论角度推导了语言模型对齐在固定KL散度预算下可达到的最大期望奖励增益，给出闭式表达式，并指出其由Jeffreys散度而非此前分析所用的√KL项决定。研究还证明代理奖励与理想奖励之间的差距（即奖励黑客）会随奖励误差增大和KL惩罚系数减小而扩大，而奖励集成可缓解该问题。在安全与摘要两项任务上的实验显示，best-of-N方法接近理论极限，PPO和GRPO则明显次优。