追平满血版o1的国产多模态模型终于来了！训练细节全部公开

有志者，事竟成！如果你在学习科技周边，那么本文《追平满血版o1的国产多模态模型终于来了！训练细节全部公开》，就很适合你！文章讲解的知识点主要包括，若是你对本文感兴趣，或者是想搞懂其中某个知识点，就请你继续往下看吧~

春节前夕，一款堪比OpenAI o1完整版（非预览版）的大模型强势来临！月之暗面科技正式发布Kimi k系列模型的最新力作——k1.5多模态思考模型。该模型在数学、代码和多模态推理等方面全面超越OpenAI o1预览版，成为OpenAI之外首个达到o1水平的多模态模型。尤其值得一提的是，kimi-k1.5-short模型在短链思维推理测试中取得了SOTA成绩，大幅领先GPT-4o和Claude 3.5 Sonnet（提升幅度高达550%）！这是国内首个在数学和代码能力上达到OpenAI o1完整版水平的AI模型。此前，国内模型在基准测试中只能达到o1预览版的水平（50-60分），而o1完整版则达到80-90分，Kimi k1.5的成绩令人瞩目。

月之暗面同步公开的技术报告详细阐述了他们在新技术范式下模型训练技术的探索历程。

• 技术报告：Kimi k1.5：基于大语言模型的强化学习扩展
• 报告链接：https://github.com/MoonshotAI/kimi-k1.5

在竞争激烈的AI大模型市场，如此高的技术透明度实属罕见。月之暗面表示，他们希望与更多技术人才分享经验，携手推动AGI发展。

Kimi k1.5：各项测试均达SOTA水平

技术报告显示，Kimi k1.5多模态推理模型在推理和通用能力方面达到SOTA水平：在长链思维推理（long-CoT）模式下，其数学、代码和多模态推理能力均达到OpenAI o1完整版的水平。具体分数如下：AIME 77.5分，MATH 500 96.2分，Codeforces 94百分位，MathVista 74.9分。

这是全球范围内，OpenAI以外公司首次实现o1完整版性能。此前模型仅能达到o1预览版或o1精简版的推理能力。

在短链思维推理（short-CoT）模式下，Kimi k1.5在数学、代码、视觉多模态和通用能力方面也达到全球SOTA水平，大幅领先GPT-4o和Claude 3.5 Sonnet。例如，其AIME得分为60.8分，MATH500得分为94.6分，LiveCodeBench得分为47.3分。

在全球顶级大模型数学和编程竞赛基准测试中，Kimi k1.5的表现同样出色，位列全球第一梯队。

Kimi k1.5的训练方法

随着模型规模的扩大，预训练阶段参数扩展带来的收益递减。为了进一步提升模型推理能力和长程问题解决能力，基于强化学习的后期训练将成为下一个突破点[1]。强化学习的扩展为AI持续进步开辟了新维度，它使大语言模型能够通过奖励机制学习来扩展训练数据，从而实现计算规模的扩展。

Kimi技术团队在Kimi k1.5的训练中，全面探索了强化学习训练技术、多模态数据配置和基础设施优化。他们设计的强化学习框架简单高效，无需依赖蒙特卡洛树搜索、价值函数和过程奖励模型等复杂技术，即可取得优异性能。他们还提出了有效的long2short技术，利用长链思维推理技术改进短链思维推理模型，使其在短链思维推理方面取得最佳成果。

简单高效的强化学习框架

该框架的关键在于：长上下文扩展和改进的策略优化。通过将上下文窗口扩展到128k，并利用部分展开技术提高训练效率，他们观察到模型性能随着上下文长度的增加而持续提升。在策略优化方面，他们推导出了一个包含长链思维推理的强化学习公式，并采用在线镜像下降法的变体来实现稳健的策略优化。

long2short技术

为了解决长链思维推理模型在测试时token消耗量较大的问题，他们提出了几种long2short方法，包括模型融合、最短拒绝采样、DPO和long2short强化学习。

2025：Kimi系列强化学习模型加速升级

OpenAI在2024年5月和9月推出的GPT-4o和o1模型，分别代表了多模态理解和强化学习两条技术路线。Kimi模型在能力上已逼近o1，令人对月之暗面在2025年的发展充满期待。月之暗面表示，2025年将继续加速升级k系列强化学习模型，提升其模态、领域和通用能力。

^{参考链接：[1] https://mp.weixin.qq.com/s/FXGdJA8OyZvLl89rXJiyAQ}

终于介绍完啦！小伙伴们，这篇关于《追平满血版o1的国产多模态模型终于来了！训练细节全部公开》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布科技周边相关知识，快来关注吧！