发布时间:2026-10-19 08:03 更新时间:2026-10-19 08:03 阅读量:7
10月中旬,蚂蚁百灵把 Ling-3.1-flash 的权重正式开放出来。从公开信息看,这是一款走“大参数、低激活”路线的稀疏 MoE 模型:总参数约 560B,每个 Token 只激活约 25B,最高支持 1M 上下文。权重已上线 Hugging Face 与 ModelScope,许可为 MIT,对打算做二次分发或商用集成的团队来说,这个许可条件相对宽松。
据公开资料,Ling-3.1-flash 的 MoE 结构为 512 个路由专家选 8 加 1 个共享专家,并叠加混合线性注意力,用来缓解长上下文下的计算压力。对运维同学更实际的是量化与部署部分:路由专家采用 MXFP4 量化后,权重体积从约 534GB 降到约 292GB,在 Hopper GPU 上的服务部署由 8 卡减少到 4 卡。官方口径下的性能数据包括 Artificial Analysis 智能指数 41、输出约 210 token/s、4 卡吞吐约 1.36 QPS,具体表现仍以实际硬件与推理框架为准。
如果要在自有服务器上拉起服务,通常还是走 vLLM 这类推理框架,基本流程与常见开源权重一致,下面是一段参考启动方式(模型名与参数请以官方模型卡为准):
# 示例:使用 vLLM 启动 OpenAI 兼容服务
具体模型路径、张量并行数与量化参数请以官方模型卡和实际环境为准
vllm serve /path/to/Ling-3.1-flash \
--served-model-name ling-3.1-flash \
--tensor-parallel-size 4 \
--max-model-len 131072 \
--trust-remote-code \
--port 8000需要提醒的是,1M 上下文并不等于日常就该开满。上下文越长,KV Cache 占用越高,并发能力下降越明显。建站或做内部知识库问答时,建议先用较小的 max-model-len 跑通链路,再按业务实际需要逐步放开,同时观察显存与首 Token 延迟。
这类模型释放出一个清晰信号:百万级上下文正在从旗舰模型的“展示项”变成开源阵营的常规配置。对中小团队来说,可选空间变大了——既可以用 API 调用,也可以在自有 GPU 上做私有化部署,把站点问答、文档检索、内容摘要这类场景收进内网。
部署前有几件事值得先确认:一是 4 卡 Hopper 的结论对应特定量化方案,换卡型或换精度后资源需求会变;二是 MIT 许可虽宽松,但模型卡上的使用条款、数据合规要求仍需逐条看;三是长上下文场景下建议配合检索做分层,避免把整站内容一次性塞进提示词。模型迭代很快,参数、性能与部署细节请以蚂蚁百灵官方公告和模型卡为准。
| 📑 | 📅 |
|---|---|
| 模思智能完成超10亿元Pre-A轮融资 | 2026-10-19 |
| 国产AI芯片出货量超GPU,算力格局生变 | 2026-10-19 |
| 元环智能两轮融资数亿元,做能设计模型的元模型 | 2026-10-19 |
| 百度文心5.0原生全模态大模型发布 | 2026-10-19 |
| 面壁智能发布MiniCPM-V 4.7:端侧多模态再进一步 | 2026-10-19 |
| 10月国产开源大模型密集迭代:百万上下文与Agent能力成焦点 | 2026-10-19 |
| 百度智能云智能体落地西安:视觉检测与具身相机进现场 | 2026-10-19 |
| 10月国内AI融资风向:多模态与具身智能受关注 | 2026-10-19 |
| DeepSeek V4.1-Flash开源:许愿式编程与智能体能力提升 | 2026-10-19 |
| 中国移动具身智能平台已纳管21家厂商机器人 | 2026-10-19 |