发布时间:2026-10-16 04:00 更新时间:2026-10-16 04:00 阅读量:0
10月中旬,阶跃星辰的旗舰基座模型 Step 5 Preview 完整权重在 Hugging Face、ModelScope 等平台开源,提供 BF16 与 FP8 两种权重格式。紧接着,摩尔线程宣布 MTT S5000 及 MUSA 软件栈完成 Day-0 适配,海光 DCU 也完成了 Day0 推理适配与全流程调优。对关注国产算力的站长和运维来说,这不是一条孤立的产品新闻,而是一个值得留意的节奏变化。
所谓 Day-0,指的是模型开源当天,芯片厂商就同步给出可用的推理适配版本。过去这个环节往往要等上数周甚至更久,运维想在自己的国产卡上跑新模型,得先等驱动、算子库、推理框架一层层补齐。现在芯片厂商把适配动作提前到发布节点,等于把「模型能用」和「硬件能跑」之间的时间差压缩到接近零。
从公开信息看,Step 5 Preview 采用稀疏 MoE 架构,总参数量 600B,每个 Token 仅激活 27B 参数,支持 1M Token 上下文窗口与视觉输入。这个规格对显存和互联的要求都不低,能完成 Day-0 级别的适配,说明国产软件栈在算子覆盖和并行策略上已经有了可复用的工程积累。目前该模型已上线腾讯 WorkBuddy、豆包 TRAE 等平台,具体可用版本和调用方式以各平台官方说明为准。
如果你正在评估推理服务器的硬件方案,这类信号比单纯的跑分更有参考价值。适配及时,意味着新模型上线后不必长时间等待驱动更新,业务侧可以更快做效果验证。下面是一段常见的推理服务启动示例,用于说明国产卡环境下加载模型权重的基本形式,实际参数需按所用推理框架和芯片厂商文档调整。
# 以 vLLM 风格启动为例,具体参数以框架官方文档为准
python -m vllm.entrypoints.openai.api_server \
--model /data/models/step5-preview-fp8 \
--served-model-name step5-preview \
--tensor-parallel-size 8 \
--max-model-len 32768 \
--dtype float8 \
--port 8000要注意的是,MoE 模型的显存占用不能简单按总参数量估算,激活参数只是一部分,专家权重仍需常驻或按策略调度。上线前建议先用小批量请求压测,观察首 Token 延迟和显存峰值,再决定并发上限。另外,1M 上下文虽然诱人,但长上下文会显著拉高 KV Cache 占用,生产环境里通常要结合业务实际把 max-model-len 调小。
把这条新闻放到更大的背景里看,10月15日蚂蚁百灵开源了 Ling-3.1-flash,总参数约 560B、每 Token 激活约 25B,最高支持 1M 上下文;面壁智能 10月13日发布的 MiniCPM-V 4.7 则走端侧路线,35B-A3B 版本在手机上以约 3GB 内存运行。模型侧在规模、上下文、端侧三个方向同时推进,芯片侧如果都能跟上 Day-0 节奏,站长在自建推理服务时的选择空间会明显变大。
当然,适配完成不等于性能更优。实际吞吐、能效比、多卡互联表现,仍要结合具体业务负载实测。建议关注芯片厂商与模型方后续发布的部署指南,以官方技术文档为准做容量规划。
| 📑 | 📅 |
|---|---|
| 国产开源大模型10月密集上新:MoE与端侧双线并进 | 2026-10-16 |
| 智谱GLM-5.2开源:长程任务模型登顶开源榜 | 2026-10-15 |
| 美团龙猫2.5预览版上线,代码能力成主打 | 2026-10-15 |
| 襄阳AI模型超市上线,注册用户接近200家 | 2026-10-15 |
| 阶跃Step 5 Preview接入腾讯WorkBuddy,智能体手机同步亮相 | 2026-10-15 |
| 10月国内AI融资观察:扩散模型与新范式受关注 | 2026-10-16 |
| 腾讯WorkBuddy与企业微信打通,企业级AI智能体加速落地 | 2026-10-16 |
| 阶跃星辰Step 5 Preview开源:600B MoE模型完整权重释出 | 2026-10-16 |
| 科大讯飞星火X2.6将发布,主打全国产算力云+端协同 | 2026-10-16 |
| 面壁智能开源MiniCPM-V 4.7:3GB内存跑35B模型 | 2026-10-16 |