Hacker News (AI)jonbaer
论文
AI Models Can Tell When Researchers Plant Concepts in Their Neural Networks
AI 摘要
研究人员向大模型神经网络中注入与特定概念相关的活动模式，测试模型能否察觉自身内部被篡改。在阿里巴巴 Qwen3-235B 和 Meta Llama 3.1 405B 上，模型分别有最高 53.9% 和 31.7% 的试验报告了异常，未注入时均未误报；但正确说出被注入概念的比例仅约 13%，且错误猜测多为「apple」，说明检测能力与识别概念依赖不同机制。纽约大学团队用提示词让模型「痴迷」某概念，模型报告的「被注入」频率反而高于真实注入，质疑这能否算自我反省。
简评
这触及一个现实问题：AI 给出的「解释」未必反映真实内部过程，而这项研究首次把「AI 能否察觉自己被动手脚」变成可实验的题目。若检测能力可靠，未来可用于监控模型是否被恶意篡改；但目前证据显示它更像模式识别，而非人类式自省，距离真正可信的自我报告还很远。
- 可解释性
- AI安全
- 自我认知
- 大模型
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗