Studies on Sign Language Retrieval in Low-Resource Dictionary Settings

AI 摘要

该研究测试了一个在美国手语数据上训练的姿势编码器，在完全不使用目标语言数据训练的情况下，将其冻结后用于土耳其语、俄语、印度语、阿根廷语、巴基斯坦语和斯里兰卡语六种手语词典的检索任务。每个词条仅登记一段或四段示例视频，并在有签名者身份信息时排除查询者本人。单段登记时，该编码器在36.4%至80.7%的查询中首次即检索到正确手语，优于无学习基线（16.0%至69.6%）和ASL训练的OpenHands图网络（六目标均值39.3%）。消融实验显示，逐对InfoNCE目标优于监督对比与交叉熵训练，阻断身体与左右手之间的注意力可提升准确率至多5.1个百分点，最佳配置单样本准确率达68.0%。在含4765词的印度手语词典CISLR上，首次命中率为17.3%至19.0%，高于原RGB基线的16.8%；不同嵌入几何空间差异不超过1.6个百分点。