发布时间:2026-10-17 04:01 更新时间:2026-10-17 04:01 阅读量:0
10月中旬,蚂蚁百灵对外正式开源了新一代基础模型 Ling-3.1-flash。从公开信息看,这是一款采用稀疏 MoE 架构的大模型:总参数约 560B,每个 Token 实际激活的参数量约 25B,最高支持 100 万 Token 的上下文窗口。权重已经在开源渠道放出,具体下载地址与许可证条款以官方仓库说明为准。
把这两个数字放在一起看,指向的是同一件事——用稀疏激活控制推理开销,用长上下文承接真实业务里的长文档、长代码库和长对话。对运维和建站用户来说,这意味着单次请求能塞进的材料更多了,但同时显存与显存带宽的压力并不会因为“激活参数少”就自动消失。
MoE 的核心思路是让每个 Token 只走一小部分专家网络。Ling-3.1-flash 每 Token 激活约 25B,相比全部 560B 参数都参与计算,单次前向的计算量被压了下来。这也是近期国产开源模型比较一致的选择:总参数做大以保证能力上限,激活参数做小以控制单次成本。
100 万 Token 上下文带来的则是另一类问题。上下文越长,KV Cache 占用越可观,对显存容量和调度策略的要求也越高。实际部署时,是否开启分页注意力、是否量化 KV Cache、并发多少路,都会直接影响能不能跑起来。这部分没有统一答案,需要结合自己的卡型和并发预期压测。
开源权重放出来只是第一步,能不能在自有环境跑通还要看推理框架适配情况。业界常见的做法是先用 vLLM 这类框架做一次最小验证,确认模型结构、量化格式与显存占用是否匹配。下面是一个通用的启动示例,具体参数名与取值请以所用推理框架和模型官方文档为准,不要直接照搬:
# 示例:以通用推理框架加载本地权重,参数仅供参考
python -m vllm.entrypoints.openai.api_server \
--model /data/models/Ling-3.1-flash \
--served-model-name ling-3.1-flash \
--tensor-parallel-size 8 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--trust-remote-code \
--port 8000这里的 --max-model-len 特意没有写成 100 万,因为长上下文对显存的消耗是线性的,多数环境需要从较小的值起步,再逐步往上调。真正要开到百万级上下文,通常需要多卡张量并行甚至多机部署,属于另一个量级的工程投入。
另外两点容易被忽略:一是 tokenizer 与对话模板要与官方仓库保持一致,模板对不上会出现答非所问;二是如果走 OpenAI 兼容接口对外提供服务,记得在网关层限制单请求最大长度和并发数,避免个别长上下文请求把整台机器的显存打满,影响同机其他服务。
把 Ling-3.1-flash 放到 10 月的开源节奏里看,脉络比较清楚。月初阶跃星辰开源了 Step 5 Preview,同样是稀疏 MoE 路线,总参数 600B、每 Token 激活 27B,支持 100 万 Token 上下文,并已在华为昇腾、沐曦、壁仞、摩尔线程等平台完成适配;更早的 9 月,科大讯飞开源了星火 X2.5-4B 与 1.7B,主打端侧百万 Token 上下文。几家不约而同地把“稀疏架构 + 长上下文”当作标配。
对使用方来说,这轮开源带来的直接好处是选择变多、单位推理成本有下行空间;需要留心的是生态适配与长期维护。模型权重开源不等于配套工具链完备,微调脚本、量化方案、推理框架支持往往要滞后一段时间。上线前建议先小流量灰度,观察显存水位与首 Token 延迟,再决定是否承接生产流量。
| 📑 | 📅 |
|---|---|
| 从山东到重庆,垂直大模型开始进车间下产线 | 2026-10-17 |
| DeepSeek千亿融资落定,国产算力生态迎来新变量 | 2026-10-17 |
| 扩散语言模型公司DiffuSpace完成数亿元融资 | 2026-10-17 |
| 阶跃星辰开源Step 5 Preview:600B参数MoE模型解析 | 2026-10-17 |
| 全球AI周调用量前五全是中国模型,数据说明什么 | 2026-10-16 |
| 国产AI芯片份额升至41%,算力网投资启幕 | 2026-10-17 |
| 月之暗面Kimi以500亿美元估值完成新一轮融资 | 2026-10-17 |
| 蝴蝶效应完成超5亿美元融资,博裕IDG领投 | 2026-10-17 |
| 阶跃星辰开源Step 5 Preview:600B参数MoE模型面向长程Agent | 2026-10-17 |
| 10月国内AI融资热度攀升:资金涌向头部大模型 | 2026-10-17 |