Kimi K3技术报告深度解读：参数规模跃升与架构全面革新

币界网消息，链上分析师AI姨表示，月之暗面公布了Kimi K3技术报告，K3拥有2.8万亿总参数，每个token激活1040亿参数，底座架构较K2全面换代。新架构、数据和训练方法使K3的整体扩展效率比K2提高约2.5倍，达到相同验证损失所需的训练计算量约为K2的40%。K3首先重写了注意力机制，采用KDA处理长序列，并加入全局MLA，降低百万token上下文的计算和缓存压力。K3还重新设计了MoE，拥有896个路由专家，每个token激活16个，是K2的两倍。K3已在多项代码、搜索和工具调用测试中接近或领先Fable 5和GPT-5.6等顶级闭源模型。