发布时间:2026-10-19 08:00 更新时间:2026-10-19 08:00 阅读量:1
国庆之后的这半个月,国内大模型圈子信息密度很高:一边是融资消息接连落地,一边是开源模型按周更新。对站长和运维来说,融资数字看看就好,真正影响技术选型的是模型侧的变化。10月15日至16日,蚂蚁百灵正式开源了 Ling-3.1-flash,这款模型把「千亿参数级能力、百万级上下文、MIT 许可」三件事放到了同一个权重包里,值得单独拆开讲。
按公开信息,Ling-3.1-flash 总参数约 560B,但每个 Token 只激活约 25B,属于典型的稀疏 MoE 结构:512 个路由专家中选 8 个,外加 1 个共享专家,同时采用混合线性注意力。上下文最高支持 1M Token,许可证为 MIT,权重已经上线 Hugging Face 与 ModelScope。
部署层面的优化是这次比较实用的部分。官方对路由专家做了 MXFP4 量化,权重体积从 534GB 降到 292GB,在 Hopper GPU 上完成服务部署所需卡数也从 8 卡降到 4 卡。公开评测中,Artificial Analysis 智能指数为 41,输出约 210 token/s,4 卡吞吐约 1.36 QPS。这些数字会随量化方案、推理框架和 batch 设置变化,实际表现以官方文档和你的实测为准。
对中小站长而言,MIT 许可意味着商用与二次分发的限制较少,但「许可宽松」不等于「成本低」。560B 总参数即使只激活 25B,权重常驻显存和 KV Cache 依然是绕不开的门槛,1M 上下文下的显存占用尤其需要提前算清楚。
同一时间段,面壁智能在 10 月 13 日发布了端侧多模态模型 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本,其中 35B-A3B 约 3GB 内存即可运行,并针对 MoE 端侧卡顿做了前瞻专家调度。MiniCPM 系列累计下载量已突破 6000 万次。再往前看,科大讯飞 9 月开源的星火 X2.5-4B / 1.7B 已原生支持最长 100 万 Token 上下文,基于全国产算力平台训练,兼容 vLLM、SGLang、llama.cpp 等主流推理框架。
把这几条放在一条线上,可以看出一条清晰的分层:云端用大参数 MoE 模型承接长文档、代码库和复杂 Agent 任务,端侧用小模型处理隐私敏感、低延迟的交互。站长选型时不必二选一,关键是先明确业务里哪类请求占大头。
如果你打算在内网或自己的 GPU 服务器上试跑这类模型,第一步不是拉权重,而是把显存账算明白。可以用下面的命令先确认显卡型号、显存和驱动版本,再对照官方仓库里的量化说明估算占用。注意:以下命令只做环境查看,具体输出以你的机器为准。
# 查看 GPU 型号、显存总量与驱动版本
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
查看当前显存占用与运行中的进程
nvidia-smi
确认 Python 与推理框架版本(以官方 requirements 为准)
python3 --version
pip show vllm 2>/dev/null | head -n 3
核算时重点看三块:权重常驻显存、KV Cache、以及并发请求带来的额外开销。1M 上下文是上限而非默认值,实际业务里如果多数请求只有几千 Token,就没必要按 1M 去配资源。另外,MXFP4 这类低精度量化对显卡架构有要求,老卡上未必能直接跑,建议先在测试机上用小流量验证,再决定是否进生产。
第一,开源模型的版本迭代很快,上线前把镜像和权重版本固定下来,避免自动拉取最新版导致行为漂移。第二,若模型服务对外提供 API,务必在反向代理层做好限流与鉴权,不要直接把推理端口暴露到公网。第三,长上下文会显著抬高单请求资源占用,建议按业务场景设置上下文上限,并对超长请求单独排队。第四,关注国产算力适配情况,新模型普遍在发布当日适配昇腾等平台,具体支持列表以官方仓库为准。
整体来看,10 月的开源节奏说明一件事:百万上下文和 MoE 稀疏架构正在从旗舰配置变成常规选项,而部署成本的分化会越来越明显。对建站和运维团队来说,先跑通一个小场景、把监控和限流补齐,比追求参数规模更实际。
| 📑 | 📅 |
|---|---|
| 扩散语言模型公司DiffuSpace连获两轮数亿元融资 | 2026-10-19 |
| 阶跃星辰开源Step 5 Preview权重,国产算力同步适配 | 2026-10-19 |
| 面壁智能MiniCPM-V 4.7发布:端侧多模态跑进3GB内存 | 2026-10-19 |
| 月之暗面传赴港上市,估值与融资节奏引关注 | 2026-10-19 |
| 十月国产算力提速:国产AI加速卡份额首破四成 | 2026-10-19 |
| 10月国产大模型融资潮:头部千亿级与细分路线并进 | 2026-10-19 |
| 扩散语言模型DiffuSpace两轮融资近5亿,10月将开源新模型 | 2026-10-19 |
| 面壁智能发布MiniCPM-V 4.7:端侧多模态再进一步 | 2026-10-19 |
| 百度文心5.0原生全模态大模型发布 | 2026-10-19 |
| 元环智能两轮融资数亿元,做能设计模型的元模型 | 2026-10-19 |