A short note on e-means and jevons paradox

AI 摘要

一种名为 e-means 的聚类方法被提出，它沿用 k-means 的目标函数，但改用小批量更新和指数移动平均，并配合衰减更新节奏、改进初始化、拆分活跃簇以复活闲置质心以及收尾步骤，还通过拟合缩放律自动设定批大小和更新率。论文报告称，将 100 亿个 DINO 嵌入聚成约 1670 万个簇只需 2.5 个 epoch，即可达到标准全批量 k-means 训练 25 个 epoch 时的测试损失，遍历数据的次数约为后者的十分之一。作者同时指出，该方法仍受最近质心区域为凸集这一几何限制，并非基于密度的聚类，且其缩放律不适用于极小、极低维的数据集。