AI model for predicting neurophysiological responses to text and pictures

AI 摘要

佛罗里达大学等机构的研究者提出 Concept2Brain 模型，用两个深度神经网络（条件变分自编码器与跨域网络）把图片或文字经 CLIP 编码后转换为合成的脑电信号（EEG/ERP）。模型基于 88 名被试观看 360 张图片的脑电数据训练，交叉验证中合成与真实信号的相关系数多在 0.6 以上，并在 THINGS、ERP CORE 等外部数据集上复现了 N170、LPP 等经典脑电成分。该模型已作为免费云平台开放使用，相关代码与数据同步公开。