引子：当最后的黑箱被拆开

很长一段时间里，”训练流水线”是大模型行业最后的黑箱。模型开源了、论文发表了，但”数据怎么来的、奖励怎么设的、这轮是怎么迭代的”——各家守口如瓶，仿佛这套从原始数据到成品模型的流水线，才是那个不可复制的秘方。

2026 年，这个黑箱被拆开了。不是被某一家实验室主动公开，而是被整个行业的实践逼到了透明——当 Anthropic 用 Claude 一周内访谈 8 万用户、当 DeepSeek 把训练配方写进 Nature 论文、当 Google 的 AlphaEvolve 在数据中心里优化训练它自己的内核、当 Kimi 把 K3 的架构和配方公之于众，训练流水线已经不再是什么秘密，而是一张摊开的公开图纸。

这张图纸有两层：一层是线性的训练流水线（从收集到部署的七个环节），一层是让它自我转动的数据飞轮（让模型每天都能更进一步的四个节点）。本文把这两层都拆开，一层一层讲清楚。

一、训练流水线：七个环节，没有上锁的门

2026 年的前沿训练流水线，可以拆成七个环节。把每一环打开，你会发现——门都没锁。

环节一：收集——数据从三个口子进来

第一个环节是收集。新数据从三个口子持续涌入：

• 生产流量日志：API 和 App 的提示词、模型输出、显式反馈（点赞点踩）、隐式信号（重试、放弃、编辑）。这些是”用户真实需要什么”的第一手证据。
• 真实任务库：GitHub PR、缺陷修复、前端需求——真实世界里的工程难题。GLM-5.2 甚至能处理单会话 85 万 token 的超长任务链。
• 评测回归集：上一次更新暴露的弱点，优先补充对应数据，防止”好了新病犯了老病”。

2026 年最极致的收集案例来自 Anthropic：2026 年 3 月，它让 Claude 自己在一周内访谈了 80,508 个真实用户，覆盖 159 个国家、70 种语言，提炼出每个人平均 2.3 个真实关切——“不可靠”占 26.7%、”失业”占 22.3%——直接把这些一手数据反哺训练。

但有一个重要的现实校验：OpenAI 和 Anthropic 都明确表态，聊天数据不实时训练，而是批量、合规审查后进入下一轮快照。”每日”主要是收集端在持续跑，权重的更新是快照节奏。

环节二：筛选——连”挑数据”都是 AI 在做

第二个环节是筛选。原始数据不等于训练数据，要经过四道工序：

• 去重去噪：语义去重、近似样本剔除（ROUGE-L 相似度阈值）；
• 合规过滤：PII 个人信息、毒性内容、版权风险——Anthropic 用隐私工具 Clio 把 31 万条真实对话压缩成可训练的价值信号；
• 质量打分：用评判模型（reward model）给每条数据打分，低分丢弃；
• 防污染：与评测集去重，防止模型”背答案”。

2026 年的关键变化是：连”挑数据”这个动作本身也自动化了。Meta、Google 等实验室都用上一代模型当数据质量过滤器；Agon 让多个模型互相给对方的推理打分；”Compete Then Collaborate”让多家旗舰共同出题、共同验证。

这意味着：数据筛选早已不是秘方，而是一条每家都在跑的公共流水线。

环节三：合成——模型造数据，量级已到千亿 token

第三个环节是合成，也是整条流水线的心脏。模型用模型造数据，不依赖人类标注。2026 年的规模到了新量级：

• CodeAlchemy：一年生成 5000 亿 token 合成代码 + 3500 亿推理 token，全程用执行轨迹验证质量；
• Kimi K3 的 Vision in the Loop：让 Agent 截图自己生成的网页、从视觉反馈里修改前端，直到 UI 达标——前端能力突飞猛进，靠的就是这套”渲染-评判”流水线；
• Anthropic 的蜜罐场景：合成不当诱导场景，专门训练模型守住边界，误判率从 65% 压到 19%；
• AgentInstruct 类系统：多智能体协作，把文档/代码种子转换成 2500 万对指令数据。

合成数据的方法论——自我指导、STaR 自我教学、长程智能体轨迹、多智能体协作——全部写在公开论文里。

环节四：训练——优化器公开，蒸馏有套路

第四个环节是训练。根据更新幅度选成本：

• 轻量更新（GPU 小时）：LoRA/DPO 在新偏好数据上微调——真·每日可跑；
• 后训练一轮（GPU 天）：SFT + 拒绝采样 + RL 完整一轮。DeepSeek 的 R1 是四阶段，GLM-5.2 做了”数月强化训练”专攻长程编程 Agent；
• 蒸馏（GPU 天）：强教师模型生成推理轨迹，学生 SFT 学习。

优化器层面，GRPO（去评论家网络、组内平均作基线）已成行业标配，2026 年继续升级：GEPO 做熵感知优势塑形，PATR 用树状 rollout 处理多轮任务（SWE-Bench +5.0），Ring-Zero 把零奖励 RL 推到万亿参数。蒸馏层面，DeepSeek 用 R1 的 80 万条样本蒸馏出反超 o1-mini 的小模型；Anthropic 直接明说 Sonnet 5”性能接近 Opus 4.8 但成本更低”；DeepSeek V4 把 1.6T 旗舰的能力压进 284B 的 Flash 版本。

训练配方公开到什么程度？DeepSeek-R1 的完整四阶段训练流程发表在 Nature 上，GRPO 的原理和实现全部开源。 你在论文里能读到和我一样的配方，几个月内就能复现。

环节五：评估——自动化的”过门”闸门

第五个环节是评估。每次训练完，必须过自动评测门：

• 可验证域：数学看答案对错、代码看编译测试、前端看渲染截图——全自动，无需人看；
• LLM 评判：开放式任务由 LLM 当裁判打分；
• 回归检测：保留的旧问题集，防”好了新病犯了老病”；
• 安全红队：自动安全评估 + 对齐检查。

这套自动化评估体系，公开到 AlphaEvolve 都能用——LLM + 进化算法 + 自动评估器闭环，自动评估器就是公共的 benchmark。评估标准、评测集、过门阈值，全都是公开的、可复用的。

环节六：部署——渐进放量，回退有兜底

第六个环节是部署。不是一键全量，而是影子测试（后台跟跑真实流量）→ 金丝雀（1%~5% 用户 A/B）→ 全量，出问题秒级回滚。Fable 5 备着”打不过就回退 Opus 4.8”的兜底；GLM-5.2 先给订阅用户早鸟再开放；DeepSeek 给旧 API 设了精确到分钟的弃用时间（2026-07-24 15:59 UTC）；各家用带日期的模型 ID 标记每次快照。

部署流程的成熟，反过来又加速迭代——这也是”每日进步”的外部表现。而这套流程，是 MLOps 的标准工程实践。

环节七：进化——AI 优化训练 AI

第七个环节是进化，2025–2026 年的最新前沿：AI 不只造数据，还改进训练流程本身。

AlphaEvolve 已在 Google 数据中心跑了一年多——发现的调度启发式、训练内核优化、TPU 电路重写全进了生产，还顺带刷新了 5 个停滞 20 年的拉姆齐数下界，4×4 复数矩阵乘法 56 年首次改进；MLEvolve（2026 年新）在数学算法优化上反超 AlphaEvolve；Darwin-Gödel Machine 让 Agent 改写自身代码库，SWE-bench 从 20% 提到 50%。

连”用 AI 改进训练 AI”这套最前沿的方法，都已经写进公开论文、开放在 arXiv 上。

二、数据飞轮：让流水线自我转动的四个节点

如果训练流水线是线性的七环节，那让它每天都能转起来的，是一个循环的数据飞轮。这个飞轮由四个节点咬合而成，缺一不可。

节点一：蒸馏前沿——教师给学生”快速充电”

第一个节点是蒸馏。强教师模型生成推理轨迹，学生模型学习。DeepSeek 用 R1 的 80 万条样本蒸馏出反超 o1-mini 的小模型；Anthropic 说 Sonnet 5”性能接近 Opus 4.8 但成本更低”；DeepSeek V4 把 1.6T 旗舰的能力压进 284B 的 Flash 版本。

蒸馏之所以是飞轮的第一齿轮，是因为它是最省力的能力迁移方式——DeepSeek 实验证明，直接用 RL 练 32B 只能到 QwQ 水平，而蒸馏 R1 能到 72.6%。有强教师时，蒸馏又快又省。至于跨厂商蒸馏（直接学竞争对手的模型），没有公开实证；MoA（多模型聚合）让”蒸馏所有前沿”在数学上可行（65.1% 对 57.5% 击败 GPT-4o），但主流实验室靠的还是自己的旧旗舰当教师。

节点二：用户反馈循环——RLHF 到 RLAIF 的跃迁

第二个节点是用户反馈。用户交互（点赞/重试/放弃）进入批量筛选，变成偏好数据喂给下一轮。RLHF 让人类标注员排序样本、训练奖励模型、再用 PPO/GRPO 优化策略；RLAIF（宪法 AI）是关键升级——用模型自己当监督员按”宪法”评判，把标注瓶颈从人力解放为算力，可以持续运转。

Anthropic 2026 年甚至让 Claude 自己访谈 8 万用户、分析 31 万条对话来提炼训练信号。这解释了”用户反馈推进更新”——但注意是批量审核后进快照，不是实时在线学习。

节点三：长程智能体造数据——飞轮最强劲的引擎

第三个节点是智能体造数据，也是飞轮最强劲的引擎。Agent 在沙箱里跑真实任务（GitHub 仓库、浏览器前端、终端），只保留通过外部验证器的轨迹：Kimi K3 用”Vision in the Loop”截图自己生成的网页改前端；CodeAlchemy 用执行轨迹验证 5000 亿 token 合成代码；AgentInstruct 用多智能体升级任务难度。

这个节点解释了”某次能力忽然达标”的真正原因——不是魔法，是新一批渲染验证、执行验证的数据，积累到一定量过评测门后集中上线。

节点四：可验证奖励——飞轮的”燃料质检器”

第四个节点是可验证奖励，也是飞轮能自转的前提。奖励必须客观：数学看答案对错、代码看编译测试、前端看渲染截图——都是机器可判的。这就是为什么主流 RL 不用神经奖励模型（会 reward hack），而用规则/执行反馈。2026 年 Ring-Zero 把”零奖励 RL”推到万亿参数，靠的正是同样的可验证原则。

四个节点咬合，飞轮就能自转：蒸馏给能力、反馈给信号、智能体造数据、奖励保质量——每一轮转动都让模型更进一步，而下一轮又站在更高的起点上。这就是”每日进步”的真实机制。

结语：当图纸摊开的那一刻

回看这张图纸——七个环节没有上锁的门，四个节点咬合成一个自驱动的飞轮——你会发现一件事：这套曾被视为秘方的训练流水线，早已摊开在所有人面前。 配方写在论文里，方法开放在 arXiv 上，最前沿的进化也公之于众。

而当一套”秘方”变成了人人可读的公开图纸，它还能叫秘方吗？护城河的判据只有一个——知道了方向也做不出来。用 2026 年的这张图纸量一遍：方向全公开，复现以周计。所谓技术护城河，早在图纸摊开的那一刻，就已经无险可守了。