Goal Encoding in LLMs

AI 摘要

研究者构建了一个包含多个子任务的编程实验环境，用于观察大语言模型是否具备目标导向行为。他们在一小部分注意力头的输出中定位到对下一个子目标的编码，这些编码可解码为自然语言描述的未来动作，并被验证对下一步行动具有因果作用；将该编码移植到另一种编程语言环境后，模型会用不同的词元序列执行同一操作。研究还提出非循环目标寻求（NRGS）解释：模型会反复从任务说明中重读目标，与上下文中已显示的进展比对，再推进剩余部分，并用因果干预实验检验了该解释。