Scalable Conversational Assessment: Chat-Based Exams with a Two-Agent LLM Pipeline

AI 摘要

伊利诺伊大学芝加哥分校的 Geoffrey Challen 提出一种基于大语言模型的可扩展对话式评估系统，通过文本对话考察学生论证能力。系统采用双智能体架构：面试官智能体直接与学生交互，但只接收关于下一个问题的指导；隐藏的评估者智能体掌握活动目标，依据评分标准追踪学生进度，并决定何时追问或进入下一题，以降低答案泄露风险。研究先用模拟不同能力水平和对抗策略（如套取答案、提示注入、自信编造）的学生角色进行测试，并在一个小型 AI 素养选修课中用于形成性和总结性评估。对对话记录的复核发现，追问生成和评分归属（只计入学生本人贡献的观点）仍需改进。论文投稿 SIGCSE TS 2027 未获录用，修订版正在准备中。