Files
nanocode/personal-blog/posts/杨植麟GTC演讲_KimiK2.5缩放定律与技术重构.md
2026-07-18 16:00:02 +08:00

7.8 KiB
Raw Permalink Blame History

杨植麟 GTC 2026 演讲实录:Kimi K2.5 的缩放定律,与 Transformer 三大组件的全面替换

当一个行业把同一套优化器用了 11 年,说明大家已经习惯了在既有框架下修修补补。杨植麟在 GTC 2026 上的分享,是一次对 Transformer 底层组件的系统性重构,而不是锦上添花。

背景:后训练时代的另一种选择

DeepSeek R1 掀起的那波 RL 热浪之后,行业出现了两条分歧明显的路径:一条是继续在后训练阶段堆算力,用强化学习让模型学会思考;另一条,是回到预训练本身,重新审视我们用了将近十年的训练基础设施。

杨植麟和他的 Moonshot AI 选择了第二条。

在 GTC 2026 上,他展示了 Kimi K2.5 背后的训练方法论——不是简单的"堆更多数据和算力",而是替换了 Transformer 训练中三个最基础的组件。这不是改良,是重构。


替代一:MuonClip — 终结 AdamW 的 11 年统治

自 2015 年 Adam 优化器被提出以来,Adam 和它的变体 AdamW 几乎统治了整个深度学习训练生态。无论是训练 GPT、LLaMA 还是 Stable Diffusion,你大概率都在用 AdamW。

杨植麟认为 AdamW 的问题在于:它对每个参数的学习率进行了精细的逐维度调节,但这种调节引入了大量的动量状态,占用了巨量显存,而且在大规模并行训练中存在通信瓶颈。

Moonshot 的解决方案是 MuonClip——基于 Muon 优化器(一种二阶优化方法,不走 Hessian 矩阵的显式路径,而是通过矩阵正交化近似实现更快的收敛),并叠加了梯度裁剪(gradient clipping)和 weight decay。

效果是显著的:

  • Token 效率从 AdamW 的 20-30% 提升到了 40-50%
  • 换句话说,同样的数据量,学到的信息量翻了一倍
  • 这直接转化为训练成本的下降,或者同等算力下更强的模型性能

这意味着什么?

优化器层面的创新常常被忽视,因为它是"基础设施"。但 MuonClip 的故事告诉我们:当训练规模达到千亿参数级别,微小的收敛效率改进都会被规模放大成巨大的成本节约。 这不是锦上添花,而是降维打击。


替代二:Kimi Linear(KDA)— 线性注意力挑战 Softmax Attention

自 Transformer 架构在 2017 年被提出以来,Softmax Attention(多头自注意力) 一直是序列建模的核心操作。但它有一个 O(n²) 的计算复杂度——序列越长,计算量平方级增长。

当 Kimi K2.5 需要处理超过 100 万 token 的上下文窗口时,传统注意力机制的计算和显存开销变成了不可逾越的瓶颈。

Moonshot 的做法是用 Kimi Linear Attention(KDA) 替代传统多头注意力:

  • 用 线性注意力机制 替换了平方复杂度的 Softmax 注意力
  • 在超长上下文场景下,计算效率显著优于标准 Transformer
  • 同时保持了足够的模型精度——长文本检索能力没有因注意力简化而退化

为什么这很重要?

线性注意力不是一个新概念,学术界已经研究了五六年。但真正把线性注意力做到百万 token 上下文窗口并在生产级模型上落地,Moonshot 是全球第一个。 过去大家停留在论文实验阶段,KDA 的突破在于——它用可工程化的方式,把理论效率变成了实际收益。


替代三:Attention Residue — 替换残差连接

残差连接(Residual Connection,也称 Skip Connection)是深度学习历史上最经典的组件之一。从 ResNet 在 2015 年横扫 ImageNet 开始,残差连接就成为了深度网络标准配置。

杨植麟认为:标准的残差连接在信息传递上并非最优——它只是简单地将输入加到输出上,没有对信息流进行选择性路由。

Moonshot 提出的 Attention Residue 是一个优雅的替代方案:

  • 用 注意力机制来替代简单的残差连接
  • 让网络各层之间有选择性地传递信息,而不是无差别地累加
  • 这允许模型在更深的网络中保持更好的梯度流动和信息传递效率

这个替换的逻辑是什么?

这其实指向了一个更深层的设计哲学:当你的整个网络都是注意力机制的变体时,为什么残差连接还要用加法而不是注意力? 这是一个架构一致性的问题——让所有组件都在同一个"注意力"的语义框架下工作。


配套创新:Early Fusion 和 Agent Swarm

除了三大组件的替换,杨植麟还提到了两项重要的配套创新:

Early Fusion:视觉训练提升文本推理

Moonshot 在训练早期就将视觉数据引入训练流程,而不是像大多数多模态模型那样,先训练好语言模型再"嫁接"视觉能力。

一个反直觉的发现是:引入视觉数据后,模型的纯文本推理能力反而提升了。 这意味着视觉信息中的结构性知识(空间关系、逻辑顺序、因果链条)具有跨模态的正迁移效应——视觉不仅仅是多模态的附加功能,它对核心推理能力有催化作用。

Agent Swarm:多智能体协作

团队还在探索多智能体协作(Agent Swarm)的应用——多个 Kimi 实例分工协作,一个负责规划,一个负责执行,一个负责验证。这种架构在复杂任务(如长文档分析、多步骤推理)上展现出超越单模型的效果。


宏观视角:Moonshot 的"第三条道路"

从产业格局来看,Moonshot AI 选择了一条有意思的路径:

方向 代表 特点
堆后训练 RL DeepSeek R1 等 在后训练阶段用大量 RL 提升推理能力
堆参数和数据 Meta LLaMA、Google 传统的"大力出奇迹"规模法则
系统重构(Moonshot) Kimi K2.5 改造训练基础设施,提升每个 token 的利用率

杨植麟的逻辑很清晰:如果预训练效率翻倍,相当于免费获得了一倍的算力。 这种杠杆效应,是单纯堆算力或堆 RL 无法比拟的。

评论与分析

杨植麟的 GTC 分享,坦诚程度让人意外。他没有画饼,而是直接摊开了训练基础设施的技术细节——这在 AI 行业保密文化盛行的当下,显得颇为难得。

几个值得注意的点:

  1. AI 行业正在从"快速跟随"转向"基础创新"。当大家都用 AdamW 和标准 Transformer 时,谁敢动这三个基础组件?Moonshot 做了,而且出了成果。这意味着行业的竞争壁垒正在从数据量和算力规模,转向对底层架构的深度理解。

  2. Token 效率是新的兵家必争之地。算力不是无限的,数据也不是无限的。当 GPT-5、GPT-6 的规模继续膨胀,每个 token 的边际收益在递减。提升 token 效率——让每个 token 学得更多——是解决规模报酬递减的根本途径。

  3. 线性注意力的产品化落地是里程碑。学术界研究线性注意力多年,但产品级验证一直缺席。Moonshot 的 KDA 实现了从论文到产品的跨越,这为整个行业的架构演进提供了可参考的范例。

  4. Early Fusion 的发现值得深思。视觉提升文本推理能力,这一结论如果被进一步验证,将深刻影响下一代模型的数据配比策略——高质量视觉数据可能不再只是多模态的附属品,而是通用智能的必需模块。

当然,Moonshot 也面临现实的挑战:Kimi 的用户增长和商业化仍在探索中,开源社区的 DeepSeek 和闭源的 GPT 系列都在快速迭代。技术创新最终需要在产品和市场上得到验证。但至少在技术路线上,Moonshot 给出了一份独特的答卷。


本文基于杨植麟在 GTC 2026 的公开演讲整理分析,部分内容经过独立解读和评估,不代表 Moonshot AI 官方观点。