发布时间:2026-10-20 08:11 更新时间:2026-10-20 08:11 阅读量:13
10月15日,蚂蚁百灵正式开源了 Ling-3.1-flash。这款模型采用 MoE 架构,总参数约 560B,每 Token 激活约 25B,共 72 层、512 个路由专家,开源协议为 MIT,权重已上架 Hugging Face 与 ModelScope。对关注国产开源模型的站长和运维来说,它比较值得注意的点不是参数规模,而是官方给出的部署门槛被压到了 4 卡。
按素材披露的信息,Ling-3.1-flash 对路由专家采用 MXFP4 量化,dense 层保持 block-FP8,权重体积因此从约 534GB 降到约 292GB,部署所需显卡数量从 8 卡降到 4 卡。FP8 checkpoint 开放下载,官方仓库提供了 SGLang 与 vLLM 两条部署路径,具体启动参数与显存占用建议以官方仓库说明和实际环境为准。
需要提醒的是上下文长度的口径差异。官方标称最高支持 1M 上下文,但仓库中 max_position_embeddings 实际配置为 262,144,也就是说当前可验证的是 256K 档。如果业务侧确实依赖超长上下文,上线前应先用实际文档长度做一轮压测,不要直接按宣传口径规划容量。
性能方面,Artificial Analysis 给出的智能指数为 41,输出速度约 210 Token/s。这组数据可以作为横向比较的参考,但不同推理框架、量化版本和硬件组合下的实测结果会有出入,仍以自己环境中的测试为准。
如果打算在一台 4 卡或 8 卡机器上跑通推理服务,比较稳妥的做法是先核对驱动、CUDA 与推理框架版本,再拉取权重。下面以 vLLM 为例给出通用流程,模型名称和参数请按官方仓库填写:
# 1. 查看显卡与驱动状态
nvidia-smi
2. 创建独立环境,避免污染系统 Python
python3 -m venv /opt/ling-env
source /opt/ling-env/bin/activate
3. 安装推理框架(版本以官方要求为准)
pip install -U vllm
4. 下载权重后启动服务,端口与张量并行数按实际卡数调整
python3 -m vllm.entrypoints.openai.api_server \
--model /data/models/Ling-3.1-flash \
--served-model-name ling-3.1-flash \
--tensor-parallel-size 4 \
--max-model-len 262144 \
--host 127.0.0.1 \
--port 8000服务起来后,先用一条短请求确认接口连通,再逐步加大上下文长度观察显存与延迟变化:
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "ling-3.1-flash",
"messages": [{"role": "user", "content": "用一句话说明 MoE 模型的特点"}],
"max_tokens": 128
}'如果是把推理服务放在对外提供访问的服务器上,建议只监听内网地址,由 Nginx 反向代理统一入口,并加上请求体大小与超时限制。模型服务本身不宜直接暴露在公网。
同一时期,阶跃星辰 Step 5 Preview 也开放了完整权重,华为昇腾、沐曦、壁仞、摩尔线程、海光 DCU 均宣布 Day-0 适配。可以看出,开源模型的竞争点正在从跑分转向“可部署在自有基础设施上的执行能力”,量化压缩和部署成本成了新的卖点。对中小站长而言,这意味着在自有服务器上跑一个中等规模模型的门槛在下降,但硬件采购前仍要先算清显存、带宽和电费,再用小流量验证业务收益,避免一次性投入过大。
| 📑 | 📅 |
|---|---|
| 千亿资金涌入头部,10月国内大模型融资与上市筹备提速 | 2026-10-20 |
| 10月开源潮:Ling-3.1-flash与DeepSeek V4.1同周更新 | 2026-10-20 |
| 百度文心5.0:2.4万亿参数原生全模态模型落地 | 2026-10-20 |
| 腾讯Marvis上架银河麒麟,AI管家适配国产系统 | 2026-10-20 |
| 无问芯穹23亿C轮落地,AI原生基础设施受关注 | 2026-10-20 |
| 10月国内AI产业观察:算力扩张与智能体落地加速 | 2026-10-20 |
| 扩散语言模型公司DiffuSpace融资近5亿元 | 2026-10-20 |
| 扩散语言模型获数亿融资,端侧Agent成新看点 | 2026-10-21 |
| 十月国产大模型开源竞赛:记忆与长上下文齐发力 | 2026-10-21 |
| DeepSeek融资翻倍至千亿,科创板上市在即 | 2026-10-21 |