要解决的问题:传统嵌入是「定长刚性」的——训练成 1536 维就只能在 1536 维下用,直接截断前几百维会明显掉效果。但下游任务的算力与存储约束往往事先并不知道,固定容量要么浪费、要么不够。
做法
Matryoshka Representation Learning(MRL)让信息按不同粒度嵌套编码:训练目标同时约束多个前缀长度(如 64、128、256…)都要能独立完成下游任务,形成由粗到细的表示。名字来自俄罗斯套娃——大娃里面套着小娃,每一层都能单独拿出来用。
代价与收益
论文称 MRL 对现有表示学习流程改动极小,推理与部署阶段不增加额外成本,且学到的低维前缀至少与单独训练的低维表示同样准确。论文在 ImageNet-1K 上报告:同精度下嵌入体积最多缩小 14 倍、大规模检索最多 14 倍实际加速,长尾少样本分类最多提升约 2%,并已扩展到视觉、视觉+语言与纯语言模型。
适用边界
前提是模型在训练阶段就采用了 MRL 目标(或使用了支持该特性的嵌入模型);对普通嵌入向量直接截断并不等价,效果会明显下降。