Blog

博客

围绕 Agent、LLM 系统、论文阅读、工程实践和设计思考的长期写作。

2026年9月16日 49 分钟

逐行拆解 MiniMind 的完整训练管线：预训练、SFT 与 LoRA、DPO / PPO / GRPO 强化学习，以及 GRPO / DAPO / GSPO 的策略损失推导——数据构造、损失函数与关键工程细节。

LLM · Pretrain · SFT

2026年8月4日 9 分钟

Predictable scaling 让大模型开发从盲目的算力竞赛变成了可预期的工程决策——用小模型外推大模型的上限。但 loss 可预测，不代表能力和校准性也可预测。

LLM · GPT-4 · Scaling Law

2026年7月31日 9 分钟

Transformer 的关键不是注意力更聪明，而是把信号传递路径压成常数。代价是 O(n²) 计算——这笔交易在 2017 年成立，到现在还没结清。

LLM · Transformer · Attention

2026年7月31日 8 分钟

GPT-3 的重点不是 1750 亿参数，而是把任务适应从微调阶段挪到了上下文中。

LLM · GPT-3 · In-context Learning