月之暗面昨日发布并开放 Kimi K3 的完整模型权重和技术资料。官方称，这是一个原生多模态 Agent 模型，总参数量为 2.8 万亿，采用 MoE 架构，每个 token 激活 896 个专家中的 16 个，并支持 100 万 token 上下文。Kimi K3 使用 Kimi Delta Attention 与 Attention Residuals 两项架构更新，视觉编码器为 MoonViT-V2；权重以 MXFP4、激活以 MXFP8 完成量化感知训练。模型已可在 Kimi、Kimi Work、Kimi Code 和 API 中使用，API 提供低、高、最高三档思考强度。
月之暗面开放 Kimi K3 模型权重
生成海报
分享到:
扫码关注我们，了解最新AI资讯~
扫码关注我们，了解最新AI资讯~