4月24日,寒武纪宣布基于vLLM推理框架,完成对深度求索公司最新开源大模型DeepSeek-V4-Flash(285B)和DeepSeek-V4-Pro(1.6T)的Day 0适配。适配工作覆盖模型加载、推理加速与显存优化等关键环节,相关代码已开源至GitHub。此举旨在提升国产AI芯片对前沿大模型的原生支持能力,助力开发者快速部署。适配验证在寒武纪MLU加速卡上完成,实测性能达预期目标。
4月24日,寒武纪宣布基于vLLM推理框架,完成对深度求索公司最新开源大模型DeepSeek-V4-Flash(285B)和DeepSeek-V4-Pro(1.6T)的Day 0适配。适配工作覆盖模型加载、推理加速与显存优化等关键环节,相关代码已开源至GitHub。此举旨在提升国产AI芯片对前沿大模型的原生支持能力,助力开发者快速部署。适配验证在寒武纪MLU加速卡上完成,实测性能达预期目标。