Kimi K2 称霸全球开源模型的秘籍公开了！道正网
没错，就是整整 32 页的 Kimi K2 官方技术报告。业内人士第一波 repo 已火速出炉：
这篇论文中有很多令人印象深刻的内容。
nice！它分享了很多关于 Kimi（以及中国实验室）对这些模型的看法（他们关注 / 优化的内容）。
Kimi K2，作为 Kimi 最新 MoE 基础模型，总参数 1T，激活参数 32B，能力领先性尤其展现在代码、Agent、数学推理任务上。
上线仅一周，它就在竞技场千人盲评中击败 DeepSeek，登顶全球最强开源模型，而且能媲美 Grok 4、GPT 4.5 等顶尖闭源模型。
那它是咋做到的呢？
别急，这篇最新论文来给答案了——一次性大公开 Kimi K2 的训练过程及"秘密配方"。
包括但不限于大家已经热议的：MuonClip 优化器、大规模 Agentic Tool Use 数据合成、通用强化学习等等。
下面详细来看。
都有哪些技术亮点
首先，Kimi 团队认为，现如今大语言模型正从静态模仿学习向 Agentic Intelligence 转型。
这意味着，模型需要具备在复杂动态环境中自主感知、规划、推理和行动的能力。
要实现这一点，当面人们面临两大挑战：
预训练需在高质量数据有限的约束下，通过提升每 token 效率构建通用先验（universal prior）。
后训练需将先验转化为可行动行为，但 Agentic 能力在自然数据中稀缺且难以规模化。
对此，团队在 Kimi K2 中采用了三大核心创新技术：
1、MuonClip 优化器：抛弃传统的 Adam 优化器，创新性地使用了 Muon 优化器。结合 Muon 的 token 效率与 QK-Clip 的稳定性，支持 15.5 万亿 token 无损失 spike 预训练。
2、大规模 Agentic Tool Use 数据合成：构建可大规模生成多轮工具使用场景的合成 pipeline，覆盖数百领域、数千工具。
3、通用强化学习框架：结合可验证奖励（RLVR）和自我批判评估奖励，将对齐从静态扩展到开放域。
得益于以上技术，Kimi K2 在 SWE Bench Verified、Tau2、AceBench 等基准性能测试中，均取得开源模型中的 SOTA 成绩。
以下为技术细节部分：
预训练阶段
在 Kimi K2 预训练阶段，团队主要对优化器和数据进行了优化。
整体而言，其预训练采用了MoE 架构 + 稳定优化器 + 高效 token 利用这一全新组合拳，以此构建通用语言和推理能力。
模型架构上，一共包含 384 个专家，每层激活其中 8 个，通过这种高度稀疏的设计在保证性能的同时优化计算效率。
在注意力机制上道正网，K2 使用 MLA（Multi-head Latent Attention）结构代替传统的密集注意力（dense attention），有效减少了计算量和带宽压力。
而且将每层的注意力头数量降至 64 个，与同类模型相比进一步降低了推理过程中的资源消耗，使模型能更好地处理长上下文。
优化器选择上，K2 采用了 MuonClip 优化器，其核心是在 Muon 优化器基础上融合了 QK-Clip 机制。
这一机制会定期检查模型注意力的关键参数（query 和 key），如果它们的值太大，就自动"收紧"，防止计算过程出现异常，从而显著提升了训练稳定性。
团队最终也发现，借助 MuonClip 可让 K2 在 15.5 万亿 token 的预训练过程中实现零损失 spike，确保了大规模训练的连续性和有效性。
数据方面，其核心目标为，在高质量数据有限时，通过提升每 token 的有效学习信号（token 效用）来增强训练效率，避免重复训练导致的过拟合。
而为了让模型"吃透"有限的优质训练数据，K2 团队采取了一种所谓的"重述法"。
对知识类文本：不是简单重复读，而是换着说法再讲一遍。
对数学类文本：把枯燥的教材式内容改写成更易理解的"学习笔记"风格，还加入了多语言版本的翻译文本，让模型见多识广。
一言以蔽之，K2 的训练数据覆盖网页、代码、数学、知识四大板块，所有数据都经过严格的质量筛选，确保模型学到的都是有用的信息。
而且它不是靠"多刷题"训练出来的，而是靠"换种说法讲一遍"让模型真正理解知识。
只用重写一次的数据训练一轮（28.94%），准确率就超过原始数据训练十轮（23.76%）。
概括而言，K2 采用了与 DeepSeek-V3 相似的多头潜在注意力（MLA），具体对比如下：
后训练阶段
K2 后训练阶段主要涉及监督微调和强化学习。
值得一提的就是大规模 Agentic Tool Use 数据合成，主要流程如下：
工具生成：3000 多真实 MCP 工具 +20000 多合成工具，覆盖金融、机器人控制等领域；
Agentic 与任务生成：为工具集生成多样化 Agentic（系统提示 + 工具组合）和带评估标准的任务；
轨迹生成：模拟用户交互、工具执行环境（含状态更新和随机结果），生成多轮工具使用轨迹；
结合真实执行沙箱（如编码任务），确保数据真实性。
最终，Judge Agent 会依据任务 rubrics 对轨迹质量进行判断，只保留高质量样本用于训练。
这一过程本质上是一种大规模拒绝采样（rejection sampling）机制，结合模拟规模与真实反馈，实现了大范围、高保真的训练数据构建。
而在强化学习阶段，K2 主要经历了三大步骤：
第一，构建可验证的奖励环境（Verifiable Rewards Gym）。
简单说，团队为不同任务设计了"可打分"的训练场景，让模型的表现可以被客观评估。
比如对于编码场景，团队利用真实世界的数据（如程序竞赛题目、GitHub 的 PR 和 issue）构建任务，并通过自动化测试来验证模型的代码是否正确运行。
第二，除了外部评判，还训练模型自己评估自己，即引入自我评估奖励机制（Self-Critique Rubric Reward）。
具体而言，模型会将自己的多个输出结果进行两两比较，并根据一套明确的标准（如语言清晰度、对话是否连贯、是否啰嗦或拍马屁）给出奖励分，同时还引入一些规则约束（如"不要无脑称赞用户"）来避免生成套路化或迎合性回答。
这个机制不仅增强了模型的自我反馈能力，也能将客观任务中的评估信号迁移到主观对话场景（如回答开放性问题等人类主观评判场景），形成闭环优化。
第三，为了更高效、稳定地进行强化学习训练，K2 还对算法进行了多项改进。
包括但不限于下面这些：
预算控制机制：限制每个样本的最大 token 数，避免生成啰嗦、重复或无意义的长文本。
引入 PTX 辅助损失：使用高质量预训练样本时再加一个损失项，以防模型在 RL 阶段"遗忘"已有知识。
温度衰减策略：训练初期用高温度鼓励模型大胆尝试、广泛探索，后期逐步降低温度，让模型输出更稳定、更收敛。
最后据论文介绍，K2 的训练依托于由 NVIDIA H800 构成的大规模高带宽 GPU 集群，通过混合并行策略，既保证了训练效率，又能在不同规模资源下灵活适配。
每个节点配备 2TB 内存，并通过 NVLink 和 NVSwitch 将 8 块 GPU 在节点内部高速互联。不同节点之间则使用 8 × 400 Gbps 的 RoCE 网络互联，以实现节点间的高效通信。
One More Thing
就在刚刚，阿里通义 Qwen3 模型也更新了——
正式由 Qwen3-235B-A22B 更新至Qwen3-235B-A22B-2507。
官方表示，他们停用了混合思维模式，改为分别训练 Instruct 和 Thinking 模型以提升质量，并正式发布性能更强的 Qwen3-235B-A22B-Instruct-2507 及其 FP8 版本。
而且官方测评显示，最新版 Qwen3 又击败了 Kimi K2 模型，开源新王或将再次易主。
参考链接：
[ 1 ] https://x.com/timfduffy/status/1947424245463847417
[ 2 ] https://x.com/thomasahle/status/1947421078524969107
[ 3 ] https://x.com/nrehiew_/status/1947420382312730706
[ 4 ] https://x.com/Alibaba_Qwen/status/1947344511988076547
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
专属 AI 产品从业者的实名社群，只聊 AI 产品最落地的真问题 扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～
进群后，你将直接获得：
� � 最新最专业的 AI 产品信息及分析 � �
� � 不定期发放的热门产品内测码 � �
� � 内部专属内容与专业讨论 � �
� � 点亮星标 � �
科技前沿进展每日见道正网
创通网提示：文章来自网络，不代表本站观点。
- 上一篇：优益配资 陕西“检察＋”切实维护劳动者合法权益
- 下一篇：没有了
相关文章
沪深京指数
热点资讯
