arXiv cs.AIGeorge Cazenavette
论文
Dataset Distillation via Drifting
AI 摘要
研究者 George Cazenavette 提出一种名为 Drifting 的数据集蒸馏方法：在特征提取器的潜空间中让合成样本向真实数据靠拢、同时彼此远离，从而直接逼近各类别的数据分布，而不依赖分类目标。实验显示，该方法生成的合成数据对真实分布的覆盖明显优于现有方法，同时仍是有效的分类训练样本；作者还将其用于模型可视化，并扩展到图像以外的模态。该论文已被 NeurIPS 2026 接收。
简评
数据集蒸馏的目标是用极少量合成样本替代庞大真实数据集，从而降低训练与存储成本。这项研究不再只盯着分类准确率，而是让合成数据更完整地还原真实分布，也让人们能借合成样本反观模型学到了什么。对普通用户而言，这意味着未来设备端模型可以更小、更省资源。
- 数据集蒸馏
- 合成数据
- 模型可解释性
- 机器学习
本站只提供模型生成的摘要，不转载原文。 完整内容请前往原始出处阅读。
阅读原文 ↗