Safety as a Budget: Calibrating the Control Channel of Constrained GRPO for Vision-Language Models

AI 摘要

研究者提出一种名为「双通道约束 GRPO」的强化学习训练方法，用于让视觉语言模型拒绝有害的图像-文本请求。该方法把安全要求表述为「有害协助率」和「过度拒绝率」两项预算，并修复了标准 GRPO 中两个导致约束失效的问题：评分器的均值偏差会干扰拉格朗日乘子的收敛，组内标准化又会在梯度到达前抵消乘子。在 Qwen3-VL-2B 模型上测试，1,037 条对抗提示的有害响应率从标准 GRPO 的 8.9% 降至 4.8%，未校准预算时为 7.6%；400 条良性查询的过度拒绝率不超过 2%，MMBench 成绩不变。在意图藏在图像中的场景和未见过的 HADES 基准上，改善更明显。