发布时间:2026-10-20 00:26 更新时间:2026-10-20 00:26 阅读量:10
10月中旬,蚂蚁开源了 Ling-3.1-flash 的权重,这是一款总参数 560B 的 MoE 模型,采用 72 层结构、512 个路由专家,推理时激活的参数约为 25B。对关注本地部署的站长和运维来说,这个模型值得看一眼的地方不在参数量,而在它怎么把 560B 塞进有限的显卡里。
MoE 架构本身就能降低推理开销:总参数虽大,但每个 token 只走部分专家,真正参与计算的约 25B。蚂蚁在这个基础上又做了混合量化,专家层压到 MXFP4,dense 层保留 block-FP8,官方给出的结果是权重占用减少约 45%,测试配置从 8 卡降到 4 卡。FP8 checkpoint 以 MIT 许可上架 HuggingFace 与 ModelScope,商用门槛相对友好,具体许可条款仍以仓库说明为准。
这里要提醒一句:“4 卡能跑”是特定测试配置下的结论,卡型、显存容量、上下文长度、并发数都会改变实际需求。真正上生产前,建议先用小流量压测,观察显存峰值和首 token 延迟,再决定是否扩容。
模型对外宣传的上下文能力是百万级,但有报道指出仓库里的 max_position_embeddings 实际为 262144,也就是目前可验证的是 256K 档。这不是说模型不能用,而是部署时不能直接按百万上下文去规划显存和 batch。上下文越长,KV Cache 占用越高,4 卡配置在长文本场景下很可能吃紧。
比较稳妥的做法是先按 256K 规划,再根据实际业务(例如长文档摘要、代码仓库问答)逐步试探。如果确实需要更长上下文,以官方后续公告和权重更新为准,不要拿宣传口径直接写进容量规划。
想在内网试跑这个模型,先确认三件事:推理框架是否支持 MXFP4 与 block-FP8 混合精度,显卡驱动与 CUDA 版本是否匹配,以及模型仓库的 config 文件里上下文长度到底写了多少。可以用下面这条命令快速拉取配置核对,避免下载完整权重后才发现参数对不上。
# 以 HuggingFace 仓库为例,先只取配置文件核对关键参数
huggingface-cli download <org>/Ling-3.1-flash config.json --local-dir ./ling-check
cat ./ling-check/config.json | grep -E "max_position_embeddings|num_hidden_layers|num_experts"确认无误后再拉取权重,并预留足够的磁盘与显存余量。对于中小站点,这类大模型更适合放在内网做离线任务,而不是直接对外提供高并发 API;线上服务仍建议走云厂商的托管接口,把运维复杂度留在平台侧。
从这次开源能看出一个趋势:国产模型正在用稀疏化和低比特量化,把“大参数”变成“可落地”。对站长来说,关注点可以从跑分转向每张卡每天能处理多少实际任务,这才是算力成本的真正答案。
| 📑 | 📅 |
|---|---|
| 算力网入列国家六张网,站长该关注什么 | 2026-10-20 |
| DeepSeek二轮融资拟扩至千亿,科创板上市同步筹备 | 2026-10-20 |
| DeepSeek V4.1 Flash 更新:763B 参数主打许愿式编程 | 2026-10-20 |
| 国产AI芯片出货份额破四成,算力建设转向拼效率 | 2026-10-20 |
| 10月大模型落地提速:从医院导诊到国产系统适配 | 2026-10-20 |
| 模思智能完成超10亿元Pre-A轮,全模态交互路线获资本加注 | 2026-10-20 |
| 10月AI融资潮:DeepSeek千亿领跑,算力芯片同步扩产 | 2026-10-20 |
| 国产AI芯片份额破四成,算力网建设提速 | 2026-10-20 |
| 扩散语言模型融资升温 DiffuSpace数亿元刷新纪录 | 2026-10-20 |
| 模思智能10亿Pre-A轮:全模态实时交互赛道受关注 | 2026-10-20 |