2026年7月31日 · 9 分钟
Attention 真正换了什么：用 O(n²) 计算买下 O(1) 的路径
Transformer 的关键不是注意力更聪明，而是把信号传递路径压成常数。代价是 O(n²) 计算——这笔交易在 2017 年成立，到现在还没结清。
LLM Transformer Attention +1
精选
主题书架
长期会反复翻看的方向，比时间线更能说明我在关心什么。
systems / workflow
Agent Systems
从工作流、状态、工具调用到可运行系统的整体设计。eval / reliability
Agent Evaluation
关注评测稳定性、任务定义、失效模式和可复现观察。harness / process
Harness / Workflow
把实验、工具、日志和回看流程组织成能持续迭代的工程骨架。paper / notes
LLM Reading Notes
论文、技术报告和源码阅读中的结构化笔记。build / ship
Engineering Practice
把想法做成项目时留下的实现选择、问题和复盘。photo / daily
Life Fragments
少量生活切片，让这个站不只剩下技术陈列。最新
最近写作
技术文章、论文阅读、实验观察和工程思考会汇入同一个博客流。
2026年7月31日 · 8 分钟
GPT-3 真正改变了什么，任务适应从微调移到了上下文
GPT-3 的重点不是 1750 亿参数，而是把任务适应从微调阶段挪到了上下文中。
LLM GPT-3 +2
2026年6月3日 · 8 min
Dive into LLM
本文介绍 LLM 的基础知识，包括推理过程、Transformer 结构、KV Cache、模型类型和 VRAM 计算等核心概念。
LLM Transformer +2
精选
开源项目
偏 GitHub repo 管理，先用手动维护保证每个项目都有清楚说明。
2026年5月8日
LogAgent：面向复杂失败日志的多阶段诊断实验
In Progress把日志诊断拆成分阶段 Agent 流程，并通过评测回看真实失败类型。
Python Agent Workflow Prompting +1