arXiv cs.AITanzeel Abbas
论文
Parameter-Efficient Conciseness Adaptation: Differentiable Length Control for Concise Clinical Reasoning in Smaller Language Models
AI 摘要
研究者 Tanzeel Abbas 提出参数高效简洁性适配方法 PECA，在 QLoRA 监督微调目标中加入一个可微的简洁性项：由于 token 数离散不可导，改为在生成超过 token 预算后提升结束符概率。在 1.7B 参数模型上基于 medical-o1-reasoning-SFT 语料微调后，平均回复长度减少 72.8%，多项选择诊断准确率从 40.8% 提升至 44.0%，且无需偏好数据、辅助模型或专有教师模型，单张消费级 GPU 即可完成。
简评
小模型跑医疗问答，回答又长又啰嗦，医生在急诊场景根本来不及看。这项研究让模型学会该停就停，篇幅砍掉七成，答题准确率反而略升，而且一张普通显卡就能训练。这意味着基层医院用低成本硬件部署可用的临床辅助工具，又近了一步。
- 小模型
- 医疗NLP
- 微调
- 长度控制
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗