把大象装进合适的冰箱：为什么 Scaling 始于问题定义

Scaling 不是魔法，更像一台放大器：问题定义得合适，更多数据、参数和计算会把反复出现的规律积累成能力；问题定义错了，它们只会让模型更熟练地优化错误的目标。

我们习惯把深度学习的进步概括成三个词：更多数据、更大模型、更多计算。这个叙事大体没错，却省略了一个更早的选择：究竟要让模型学什么？

本文只回答一个核心问题：为什么同样增加数据和参数，有些任务能够持续 Scaling，有些却很快触顶？

我的答案是一条先后关系：

人的期待 → 问题空间 → 有效监督 → 模型吸收与复用 → 真实效果。

期待先规定哪些能力重要；问题空间再决定这些能力能否被表达；数据和监督决定模型能否看见足够多的相关约束；最后，模型容量和优化才负责把规律压进参数。任何一环错位，后面的规模都无法自动补救。

把这条链压缩到最简单的学习形式：

f_\theta:\mathcal X\rightarrow\mathcal Y

训练数据可以记作 $D=\{(x_i,y_i)\}_{i=1}^{n}$ ；其中 $y_i$ 既可能是人工标签，也可能是从数据自动构造的下一个 token、噪声或匹配关系。数据 Scaling 增加的是样本数 $n$ 、分布覆盖和有效约束；模型 Scaling 扩大的是 $f_\theta$ 能够表达、优化和压缩的规律。但在两者之前，我们已经选择了 $\mathcal Y$ ：什么算答案，哪些差异算错误，训练损失又怎样对应真实期待。

这里的 $\mathcal Y$ 不只是标签集合。完整的问题定义还包括输入和中间表示、什么算相同或相近、答案怎样分解和组合，以及误差如何计算。后面为了保留直觉，我把这一整套问题表述简称为“问题空间”，也就是那个准备装下现实任务的“冰箱”。

下文先用冰箱比喻解释这条链，再分别讨论 $Y$ 、数据和 $f_\theta$ ，最后用技术案例与理论边界回扣。

从人的期待到可 Scaling 的学习任务

问题定义给出学习方向，数据和模型规模沿着这个方向发挥作用。

期待先说清“大象”

人究竟希望模型解决什么，哪些差异必须保留。
Y 划定问题空间

定义输出、等价关系、结构、分解方式与损失。
D 寻找有效监督

用数据覆盖、标注、关系或自监督提供任务相关约束。
fθ 吸收并复用规律

以容量、架构和优化让约束进入共享参数。
效用确认“门关上”

检查代理目标的改善是否兑现为真实效果。

数据 Scaling：增加样本数、覆盖与有效约束。

模型 Scaling：扩大 fθ 的容量与可优化性。

图 1：能装进去，意味着问题空间对期待足够充分；能关上门，意味着训练结果通过了真实效用检验。

直觉：一个关于冰箱和大象的比喻#

小时候有一道脑筋急转弯：把大象装进冰箱需要几步？

答案是三步：打开冰箱门，把大象装进去，把门关上。

如果把它借来描述数据驱动，我会稍微改写一下：

打开一个合适的冰箱；
把大象装进去；
确认门真的关上了。

冰箱是我们为任务选择的问题空间；大象是现实中真正想解决的事情；把大象装进去，是让数据中的重复规律进入模型参数；关上门，则意味着训练结果真的兑现了最初的期待。

因此，“大象能装进去”和“门能关上”是两个不同的判断。能装进去，表示问题空间足以表达任务需要的差异；门能关上，表示训练目标和评测结果确实对应真实效果。夹在中间的有效监督，则决定我们能否凭现有数据把这些差异教给模型。

我们经常把绝大部分精力花在第二步：收集更多数据、训练更大模型。但如果冰箱太小，或者内部结构根本不适合大象，继续增加搬运的人手不会解决问题。

更危险的情况是，我们先把大象切成容易装进去的几块，再把“冰箱门关上了”误认为“原来的任务已经解决”。模型可能把 benchmark 做得很好，却只解决了真实问题的一个方便代理。

所以，在讨论怎样扩大数据和模型之前，应该先问：这个冰箱究竟保存了现实任务中的哪些差异，又提前丢掉了哪些差异？

第一部分：先定义 $Y$ ，期待决定哪些差异重要#

任务是否被解决，不能脱离我们对它的期待来讨论。

MNIST 在标准数据分布和十分类评测下之所以接近被解决，是因为期待很小也很明确：识别十个数字即可，不需要保留书写者、笔迹风格和运笔方式。一个十分类输出足以承载这个期待。

人脸识别的期待不同。真实产品关心的不是“这张脸属于训练集中的哪一个人”，而是两张脸是否属于同一身份，以及新身份能否被登记和检索。因此，固定类别不是最终接口；常见系统虽然仍可借助分类或 margin loss 训练，却把结果组织在 embedding 和相似度空间中。

所谓合适的问题空间，从来不是对现实绝对完备，而是对某一种期待足够充分。

这也是“先定义 $Y$ ”真正想表达的意思。它不是说每一条标签都必须绝对正确，而是说目标要有正确的区分能力：我们希望模型积累的能力，必须能够改变训练目标或最终评价。

一部分随机标签噪声，有时可以被更多数据部分抵消；系统性的目标错位却不会。一个完全准确的情感标签，只能告诉模型哪些差异会改变情感判断，不能直接奖励它更会翻译、写代码或做数学。更多数据和更大模型可以把这个窄目标做得更好，却不会自动把 $Y$ 中不存在的区分变成稳定的学习方向。

期待越开放，问题空间就需要越强的容量和组合能力。十个类别可以容纳 MNIST，却无法容纳开放语言；一张静态图像可以描述外观，却未必足以描述因果和变化。很多“这个问题是否已经解决”的争论，实际是在用不同的期待规模说话。

第二部分：再看数据，数量不等于监督充分#

定义好目标以后，才有意义讨论数据是否足够多。但这里要比较的不是一个孤立的样本数，而是数据相对于问题空间的覆盖程度。

可以引入一个工作性的直觉量：

有效监督密度 ≈ 任务相关且非重复的约束 / 实现任务期待仍需辨识的有效自由度

它不是一个已经建立的统一指标，只是在提醒我们：同样一批数据，放进一个过大、缺少结构的空间会很稀疏；若把任务无关的差异合并，并让相同规律反复落到共享结构上，数据就会相对变得稠密。

有效监督通常从三个方向增加：

局部密度：每个 token、像素、时间点或噪声层级都产生目标；
关系密度：样本之间形成匹配、比较或排序；
覆盖密度：数据触及足够多的概念、场景和变化。

三者不能互相替代。目标很多未必信息多，关系很多也未必覆盖广，一个标签也可能通过结构产生丰富约束。

这些约束可以来自不同渠道：更多原始数据主要增加分布覆盖，人工标注主要提高目标的明确性、粒度和可靠性，自监督分解或样本关系则可以让一份数据产生更多学习目标。监督不必是最终任务的直接标签，但必须对最终期待具有信息价值；否则数量再多，也只是更密集的代理信号。

具身操作中的视频预测就是一个需要警惕的例子。海量视频可以提供密集的像素或 latent 预测目标，也能带来外观、几何和运动覆盖；但降低视频预测误差，未必需要分辨抓取是否稳定、接触力是否合适、动作是否可执行或任务是否成功。尤其在只有观察、没有动作与反事实干预的视频中，模型可能学会“画面怎样变化”，却没有学会“我的动作怎样可控地改变世界”。因此，视频预测可以是有价值的预训练信号，却不能单凭数据量和梯度密度证明最终操作监督已经足够；还需要动作条件、机器人轨迹、状态与力觉信息，或下游任务损失建立关联。

监督的密度不是梯度的密度。随机标签和逐像素重建都可以提供非常稠密的梯度，却未必提供我们真正关心的知识。

空间太小会装不下期待，把必要信息提前压掉；空间太大或结构太弱，则留下过多自由度，让现有数据无法确定应该学什么。合适的问题空间既要对任务充分，也要让可获得的数据足以覆盖关键变化。

第三部分：最后放大 $f_\theta$ ，容量不能修复目标错位#

增加参数量，扩大的是模型族的容量，而不是任务本身。架构、参数共享、优化方法和计算预算共同决定 $f_\theta$ 能否吸收数据中的规律；参数量只是其中一个尺度。

监督还必须能够抵达需要改变的参数。在一个联合训练的可微模型内部，有效的端到端梯度通常是必要条件：计算图不仅要连通，梯度还要有足够的信噪比，不能长期消失或被捷径支配。但对整个学习系统，更一般的条件是存在可达的信用分配链；搜索、价值传播、强化学习回报和蒸馏同样可以把结果变成局部学习信号。

真正的参数复用也不只是形式上的权重共享，而是一个样本产生的更新能够帮助其他样本。此时模型才是在压缩重复规律，而不是逐条记忆数据。

因此，三个尺度不能混成一句“做大”：

$\mathcal Y$ 与损失定义模型被奖励去学什么；
数据决定 $\mathcal X$ 中哪些变化被观察，以及监督是否足够稠密；
$f_\theta$ 决定这些规律能否被表达、吸收和复用。

前两者没有对齐时，扩大 $f_\theta$ 只会提高拟合错误目标的能力；目标已经对齐但数据太稀疏时，更大的模型也可能只得到更大的不确定性或更强的记忆能力。

用案例检验这三层逻辑#

下面的案例只回答三个问题：现实期待是什么，它被改写成了什么问题空间，这种定义为何让数据更有效。它们不是一套覆盖每项技术全部贡献的理论。

同一套分析：期待 → 问题空间 → 有效监督

案例的重点不是模型清单，而是每种表述保留了什么、又让数据怎样产生约束。

案例现实期待问题空间有效监督来源

分类现实期待：封闭类别中辨认对象问题空间：类别极点、logit 与决策边界有效监督：类别等价关系压缩无关差异
人脸 / CLIP 现实期待：验证、检索与跨模态匹配问题空间：具有任务语义的 embedding 距离有效监督：成对、排序关系与概念覆盖
语言模型现实期待：预测并生成可变长度文本问题空间： token 序列与条件分布有效监督：逐位置目标与广泛语料覆盖
Diffusion 现实期待：学习一对多的生成分布问题空间：不同噪声层级上的局部修正有效监督：逐位置、跨噪声层级的目标
BEV 现实期待：统一理解多相机三维环境问题空间：自车或世界坐标中的鸟瞰表示有效监督：跨相机、位置与时刻累积观测
AlphaFold2 / NeRF 现实期待：恢复三维结构或一致新视角问题空间：关系几何或连续辐射场有效监督：局部关系或多视图射线约束

图 2：问题空间的价值，在于把真实期待变成数据可以反复约束、模型可以共享规律的形式。

分类：把现实差异压到类别极点#

图像分类把期待定义为“在封闭类别中辨认它是什么”。十个 one-hot 标签是十个有语义的目标极点；softmax 后的概率点表达模型在这些类别之间怎样分配信念；内部特征空间则负责把图像组织成可分离的区域。字体、位置和笔画粗细只要不改变数字身份，就被归入同一个任务等价类。

这里需要区分三个空间：one-hot 目标定义类别语义，特征空间承载样本相似性，logit 与决策边界刻画分类证据。 在二分类中，正负类的 logit 差可以看作有符号的分类 margin；它越偏向正类，模型对类别 1 的判断越坚定。这并不意味着图像在视觉上更清晰，也不保证模型没有利用背景或水印等捷径。对比学习会更直接地约束谁应当靠近、谁应当远离，普通分类则通过类别决策间接塑造内部几何。

以 LeNet ↗ 为代表的 CNN 又为输入增加了局部性和权重共享：同一检测器可以跨位置和图像复用。因此，分类的成功不只来自标签数量，也来自类别等价关系和图像结构共同缩小了需要由数据辨识的自由度。

人脸与 CLIP：把类别改成有语义的关系#

人脸产品期待验证和检索未见身份，因此问题空间需要表达“彼此有多像”。FaceNet ↗ 用 triplet loss 直接学习欧氏 embedding，ArcFace ↗ 则用角度 margin 的分类代理塑造判别空间。身份标签因此可以展开成成对、三元组和相对间隔约束。

CLIP ↗ 把同一种思路扩展到图像和文本：目标不是完整描述每个像素，而是在共同 embedding 中判断哪些图文更匹配。batch 内的相似度矩阵提高了关系利用率，海量互联网图文提高了开放概念的覆盖。比较数量并不等于独立事实数量，还可能包含假负例；但相对于单个粗糙图文标签，关系结构让每批数据提出了更丰富的约束。

这类工作的关键不是“向量越多越好”，而是空间中的距离、角度和邻近开始具有产品或任务语义。

语言模型：把开放知识写成可组合的序列#

Token 不是语言和知识本身，却提供了一套有限、统一、可组合的接口。自回归模型进一步把联合概率写成连续的条件预测：训练时，每个位置的 $Y$ 都是下一个 token，而上下文中的序列结构让语言、事实、代码和文本中的解题模式进入同一种学习接口。经验 Scaling Law ↗ 描述了语言模型损失随模型、数据和计算变化的经验关系，但并不证明 token 化本身就足够。

长度为 $n$ 的序列在 teacher forcing 下可以贡献接近 $n$ 个逐 token 损失项，所以局部监督很密；这些目标共享上下文且高度相关，并不等于 $n$ 份独立知识。LLM 的有效密度同时来自逐位置目标、自然文本的广泛覆盖，以及共享参数对重复语言结构的复用。数据没有铺满所有可能序列，更没有直接覆盖事实核验、可靠推理和现实行动。

BERT ↗ 与早期 GPT ↗ 很适合说明：相近的原始文本，也可以被定义成不同的学习问题。BERT 用左右文恢复被遮蔽的 token，重点是得到可供下游微调的双向表示；早期 GPT 用左到右的下一 token 预测预训练，再迁移到下游任务。前者只在被选中的遮蔽位置产生直接 MLM 损失，后者在序列的连续位置产生预测目标，并保留了自然的生成接口。但这不是简单的“BERT 监督少、GPT 监督多”，更不能只用后来的产品形态倒推当年的意图：两者还同时改变了上下文可见性、训练目标和迁移接口。真正值得注意的是，同样的数据，因为 $Y$ 和分解方式不同，会积累出不同方向的能力。

情感分类正好构成对照。它也可以拥有海量文本，但问题定义只区分情感；next-token prediction 则会区分所有能够改变条件 token 分布的变化，因此许多语言和知识差异都会影响损失。窄任务不是绝不会产生附带能力，而是与标签无关的能力缺少稳定、持续的奖励方向。

Diffusion：把多解答案改写成一条学习路径#

一个条件可能对应许多合理图像。若用平方误差一步回归唯一结果，模型容易走向多个答案的平均。DDPM ↗ 不直接要求模型一次给出最终图像，而是把任务改写成不同噪声层级上的逐步修正。

于是，每张图都可以与随机时间步和噪声组成训练目标，并在大量位置产生局部误差；同一个去噪器又跨位置、噪声尺度和样本复用视觉规律。它说明训练目标不一定直接采用最终产品形态，也可以把复杂输出分解成一条能够通向最终分布的局部学习路径。

Latent Diffusion ↗ 进一步把过程移到压缩空间，主要降低高分辨率生成的计算成本。它改变了模型在哪个空间学习，但生成质量和用户偏好仍不能由单一去噪损失完全保证。

其他案例：改变坐标、关系或反馈接口#

同样的视角也适用于其他突破：

DETR ↗、FCN ↗ 和关键点热力图，分别把输出定义成对象集合、像素场和位置分布，使 $Y$ 更像它要描述的对象；
BEVFormer ↗ 把多相机观测放进统一鸟瞰坐标，使跨视角和跨时刻的数据可以在同一空间累积；
AlphaFold2 ↗ 大量使用 MSA、残基对表征和几何感知结构，使全局三维形状可以从重复的关系中形成；
NeRF ↗ 用连续辐射场和可微渲染，把多视图像素误差转化为对同一个三维场的约束；
AlphaGo Zero ↗ 在规则、动作和胜负都明确的空间里，用搜索与自博弈持续生成学习目标，说明有效信用不一定要求梯度穿过环境。

这些案例的共同点不是“都用了向量空间”，而是它们为真实期待找到了更合适的等价关系、几何、分解方式或反馈接口。

边界：问题空间解释不了全部 Scaling#

把所有突破都解释成重新定义问题，会让这个观点失去意义。

AlexNet ↗ 没有改变 ImageNet 的类别定义，主要扩大了数据、计算和可优化容量；
ResNet ↗ 没有创造新的 $Y$ ，主要通过残差参数化让更深模型容易优化；
Transformer ↗ 没有单独发明 token 世界，主要改善了 token 之间的交互、梯度路径和并行计算。

因此，正确的问题定义不是成功的充分条件。冰箱合适以后，仍然需要数据质量、模型容量、优化稳定性、计算资源，以及与真实效用一致的评测。

Sutton 的“苦涩教训” ↗ 还提醒我们，长期进展往往来自能够持续利用计算的一般方法，而不是不断手写领域知识。定义问题空间不等于把解法写死；更好的做法是规定可靠的目标与结构接口，同时给学习系统留下发现规律的空间。

总结：回到最初的三个问题#

在谈论更多数据、更大模型和 Scaling Law 之前，可以先问：

$Y$ 定义对了吗？ 它是否保留真实期待需要的差异，损失是否奖励我们真正关心的结果？
数据对这个问题足够稠密吗？ 它是否覆盖关键变化，并提供任务相关、非重复的约束？
$f_\theta$ 能承接这些约束吗？ 它是否有合适的容量、结构和优化路径，让规律进入并复用在参数中？

这三问的顺序很重要。更完整的链条是：人的期待先定义“大象”，问题空间判断它能否被表达，有效监督决定数据能否教会模型， $f_\theta$ 负责吸收和复用规律，最后再由真实效果判断“门是否关上”。数据 Scaling 增加样本数量与对 $X$ 的覆盖，模型 Scaling 扩大 $f_\theta$ 的容量；但在它们之前，必须先决定 $Y$ 究竟是什么。

规模不会替我们定义问题。它只会放大问题定义中已经存在的学习方向。

关于能力上限、超出预期与监督密度的进一步讨论，见下一篇《既装得下，也学得会：问题空间如何决定 Scaling》。

与已有理论的关系#

这些工作不是同一个理论，而是从不同侧面接近本文的直觉。Newell 与 Simon ↗ 关心问题怎样被表述成可搜索的问题空间；Marr ↗ 强调先说清楚要计算什么，再讨论表示、算法和实现。表征学习 ↗、信息瓶颈 ↗和几何深度学习 ↗分别从变化因素、任务相关信息和结构先验补上了这幅图；MDL ↗则为“重复规律可以被压缩”提供了一种语言。本文只是尝试把这些直觉与数据和模型的 Scaling 放到同一条因果链上。