Large Language Models as Digital Twins: a Distribution-Aware Questionnaire-Based Evaluation

AI 摘要

该论文研究大语言模型能否像特定个人一样填写人格问卷：给定用户的社交媒体帖子，让模型以该用户身份完成BFI-2-60大五人格问卷，将预测答案换算成特质分数后与用户真实分数比较。研究在MyPersonality数据集上评测了GPT-4、Gemma、Llama 3.1和Mistral，并设置无用户文本的对照及基于总体人群倾向的基线。结果显示，用户文本并未稳定提升预测表现；模型在特质分布中间区域表现较好，在两端则常偏向中间值或一端好一端差；仅提供目标大五分数时，GPT-4最能将特质信息转化为一致的问卷回答，尤其在外向性和神经质上；增加文本量也不系统性降低误差，开源模型波动更大，GPT-4相对稳定。总体而言，所评测模型无法稳定复现特定个体的问卷行为。