训练 GPT-4 这种规模的模型，有一个很现实的约束：你不能反复做 model-specific tuning。
这不是省钱的问题，而是可行性问题。跑一次 GPT-4 的成本决定了你必须在跑之前就知道结果大致怎样。如果每次都要等训练完才知道好不好，那基本不可能做出这样的模型——因为没人愿意为一个不确定的方案预付一笔天价预算。
GPT-4 论文真正让我感兴趣的，不是它的多模态能力，也不是 RLHF 后训练本身。这两个配方从 GPT-3.5 时代就已经在用了。
论文真正的工程贡献是一套方法：
用一系列小得多的模型，拟合 compute 与性能之间的关系，然后外推到还没训练的 GPT-4 的规模。
这叫 predictable scaling。这篇文章想讲清楚的就是：这套方法具体怎么做、为什么 loss 好预测而能力难预测，以及它留下的边界在哪里。
Predictable Scaling 不是猜，是拟合规律
这里有一个很容易被误解的地方。
提到”预测 GPT-4”，很多人会想象拿一个小模型跑一遍，按参数量等比放大一个系数，就得到了大模型的性能估算。但这完全不对——论文的做法要精细得多。
它的思路是：训练一组规模不同的模型——最大的也只有 GPT-4 计算量的万分之一——然后观察 compute 增长时 loss 的下降趋势，把这条趋势曲线外推到 GPT-4 的 compute 级别。
关键不是单一数据点的线性放大，而是规律本身的稳定性。如果一条曲线在多个抽样 scale 上都成立，你才有理由相信它在 distant scale 上也成立。
这个思路成立有两个前提。第一，小模型的训练方法和数据分布要尽量接近大模型，否则规律不具备可迁移性。第二，被预测的指标本身要”可平滑外推”——有些指标天然满足这个条件，有些则不然。这也正是论文接下来要区分 loss 预测和能力预测的根本原因。
Loss 好预测，因为它是”平滑的真值”
predictable scaling 最稳的部分是 loss 预测。
loss 有一个先天的优势：噪声小、下降平滑，适合用 scaling law 建模。论文用这样一个幂律形式来拟合：
- (C) 是训练 compute
- (L(C)) 是最终的 loss
- (a, b, c) 从一组小模型的 loss 数据中拟合得到
- (c) 是一个特别有意思的量：irreducible loss——即使 compute 无限增加也无法消除的残余损失
论文用的拟合数据来自比 GPT-4 少 10,000 倍 compute 的模型。在 GPT-4 训练刚开始后、还没看到任何 GPT-4 自己的 loss 数据时，就已经预测出了它最终会收敛到什么水平——而且精度很高。
这里的门槛不在于拟合公式本身，而在于：你得训练足够多的小模型、覆盖足够宽的 compute 范围，才能让拟合稳定。一次试验、一个数据点没法告诉你趋势。一组覆盖 10,000 倍 compute 跨度的模型才可以。
规律本身才是可迁移的，单一数据点不是。
这个结论的工程含义也很直接：如果你想验证一个新的训练配方对更大模型有没有用，不需要把大模型真的训出来——先用小模型跑 scaling law 预测，基本就能判断值不值得投入。
能力预测：更接近你的实际需求，但也更难
loss 好预测这件事很重要，但它不是最终目标。没有人关心模型的 loss，大家关心的是模型能不能写代码、答题、推理、翻译。
论文试了，但承认它要难得多。
它用最多比 GPT-4 少 1,000 倍 compute 的模型，外推 GPT-4 在 HumanEval 部分问题上的表现。方法不是对 pass rate 直接做线性回归——那会很不可靠——而是对 mean log pass rate 做近似幂律建模：
直观理解：compute 越大，pass rate 越高，log(pass rate) 越接近 0，则负的 mean log pass rate 随 compute 增大而下降。这种处理方式比直接对 pass rate 建模更稳定，因为它压缩了极端值的方差。
但能力预测的脆弱性没办法掩盖。
第一，不同的能力对外推的敏感度完全不同。有些能力随 compute 平滑上升，规律较好预测；有些能力表现跳跃、不连续，外推误差很大。
第二，论文承认存在 inverse scaling 的现象——有些能力模型变大反而变差。更麻烦的是，GPT-4 在某些任务上又会反转这个趋势。这意味着能力不是单向提升，而是有升有降，单靠小模型的外推很难判断拐点在哪里。
第三，能力的定义本身就不像 loss 那样客观。HumanEval 上的 pass rate 是一种度量，但实际的代码生成能力包含可读性、正确性、边界处理等多维因素，pass rate 只能捕捉其中一部分。
loss 的 scaling 比较可靠——本质原因是损失函数定义好了，优化目标与预测目标一致。能力 scaling 可以做，但它更脆弱、更依赖任务选择和统计处理，而且越复杂的任务越难预测。
它预测不了的东西，才真正决定模型能不能用
如果 predictable scaling 只能预测 loss 和部分 benchmark 表现，那它还漏掉了什么？论文自己给了最值得留意的答案：calibration（校准性）。
calibration 衡量的是：模型输出的置信度，是否真实反映它答对的概率。如果模型对一批问题都给出约 80% 的置信度，那么这批问题中它实际应该大约答对 80%。实际只答对 50% 就是过度自信，答对 95% 就是过度保守。
一句话：你能不能相信模型对自己不确定性的表达。
预训练 GPT-4 的校准性相当好——ECE（Expected Calibration Error）仅 0.007。但经过 RLHF / PPO 后训练后，ECE 恶化到 0.074，差了约 10 倍。
这里有个值得细想的机制。预训练模型的任务是预测”下一个 token 的概率分布”，它的概率天然接近统计意义上的不确定性——confidence 和正确概率在分布层面上是匹配的。但 RLHF 后训练优化的是”人类偏好的回答”——有帮助、清晰、安全、符合指令。它不要求模型保持概率分布的真实性。
RLHF 让模型更有用、更安全，但可能让模型的概率置信度变得没那么可靠。你没有教模型说谎，你只是教它不要犹豫——但”不犹豫”和”不诚实地表达不确定”之间的边界很模糊。
这件事超出了 predictable scaling 的预测范围——你用 scaling law 可以外推 loss，甚至能部分外推能力，但你外推不了 RLHF 会给 calibration 带来什么影响。因为修复 calibration 不是靠更多 compute，而是靠改变后训练目标。
practical 含义：在医学诊断、法律判断、金融风控、代码安全审查这类高风险场景里，一个准确率高但校准性很差的模型可能比一个准确率稍低但校准性好的模型更危险。因为它看起来很确定，但其实很可能错。用户会根据模型的自信语气错误地信任它。
我从这篇论文里得到的判断
GPT-4 技术报告最有价值的地方，不是它某个 benchmark 上的分数，而是它把大模型开发的决策方式推进了一步。
在 GPT-4 之前——或者说在 predictable scaling 之类的方法被系统化之前——更大规模的训练有很强的不确定性。投多少钱、训多大模型、会不会收敛到预期水平，很大程度上靠经验和直觉。scaling 本身就是一种高风险赌博。
GPT-4 这篇论文给出了一个不同的答案：
如果你能在训练之前，用小规模的实验估计出大模型的性能上限，那么 scaling 就不再是赌博，而是可以预期收益的工程决策。
这也是为什么 predictable scaling 的真正遗产不是那几条拟合曲线，而是它改变了做决定的时机——把”训完才知道”变成了”训之前就能判断”。
但边界同样值得说清楚。你能预测 loss，不代表你能预测能力。你能预测能力，不代表你能预测校准性。而越往复杂的能力和更深的 post-training 走，predictable scaling 的覆盖范围就越窄。
RLHF 的校准性代价就是最直观的例子：你不光预测不到它，它还恰好发生在你把模型变得更”有用”的那一步。这形成了一个反讽——让模型好用的操作，反倒削弱了你衡量它是否可靠的能力。
下一个值得追问的问题
如果 predictable scaling 在 GPT-4 的规模上能把 loss 预测得很准，那到了 GPT-5 甚至更大的模型，这一套还能传得动吗？
这里至少有三个层面在变化。
第一，模型越大，用来做外推的小模型需要的绝对 compute 也在变大。万分之一 GPT-5 的 compute 可能已经相当于一个小 GPT-4——“用小模型预测”这件事本身的门槛在升。
第二，后训练在越来越复杂的阶段进行——RLHF 之后的 DPO、process reward models、multi-agent feedback——每个阶段都可能产生 predictable scaling 覆盖不到的效应。
第三，能力指标本身在变。从 HumanEval 的 pass rate 到 agent 的任务成功率、长程规划的正确性、自我纠错的可靠性——这些指标比 loss 和 pass rate 更难平滑外推，甚至还没有公认的 scaling law 形式。
当模型足够大、后训练足够复杂之后，predictable scaling 还能 cover 多大比例的”你在乎的指标”？
这是 GPT-4 留下的、目前还没有很好的答案的问题。而它恰恰决定了未来做大规模模型时，你到底能在多大程度上相信小规模实验的判断。