蚂蚁百灵Ling-3.1-flash开源:4卡可部署的560B模型

    发布时间:2026-10-20 08:11 更新时间:2026-10-20 08:11 阅读量:13

    10月15日,蚂蚁百灵正式开源了 Ling-3.1-flash。这款模型采用 MoE 架构,总参数约 560B,每 Token 激活约 25B,共 72 层、512 个路由专家,开源协议为 MIT,权重已上架 Hugging Face 与 ModelScope。对关注国产开源模型的站长和运维来说,它比较值得注意的点不是参数规模,而是官方给出的部署门槛被压到了 4 卡。

    量化之后,权重从约 534GB 降到约 292GB

    按素材披露的信息,Ling-3.1-flash 对路由专家采用 MXFP4 量化,dense 层保持 block-FP8,权重体积因此从约 534GB 降到约 292GB,部署所需显卡数量从 8 卡降到 4 卡。FP8 checkpoint 开放下载,官方仓库提供了 SGLang 与 vLLM 两条部署路径,具体启动参数与显存占用建议以官方仓库说明和实际环境为准。

    需要提醒的是上下文长度的口径差异。官方标称最高支持 1M 上下文,但仓库中 max_position_embeddings 实际配置为 262,144,也就是说当前可验证的是 256K 档。如果业务侧确实依赖超长上下文,上线前应先用实际文档长度做一轮压测,不要直接按宣传口径规划容量。

    性能方面,Artificial Analysis 给出的智能指数为 41,输出速度约 210 Token/s。这组数据可以作为横向比较的参考,但不同推理框架、量化版本和硬件组合下的实测结果会有出入,仍以自己环境中的测试为准。

    在自有服务器上试跑前的准备清单

    如果打算在一台 4 卡或 8 卡机器上跑通推理服务,比较稳妥的做法是先核对驱动、CUDA 与推理框架版本,再拉取权重。下面以 vLLM 为例给出通用流程,模型名称和参数请按官方仓库填写:

    # 1. 查看显卡与驱动状态
    nvidia-smi
    
    

    2. 创建独立环境,避免污染系统 Python

    python3 -m venv /opt/ling-env source /opt/ling-env/bin/activate

    3. 安装推理框架(版本以官方要求为准)

    pip install -U vllm

    4. 下载权重后启动服务,端口与张量并行数按实际卡数调整

    python3 -m vllm.entrypoints.openai.api_server \ --model /data/models/Ling-3.1-flash \ --served-model-name ling-3.1-flash \ --tensor-parallel-size 4 \ --max-model-len 262144 \ --host 127.0.0.1 \ --port 8000

    服务起来后,先用一条短请求确认接口连通,再逐步加大上下文长度观察显存与延迟变化:

    curl http://127.0.0.1:8000/v1/chat/completions \
      -H "Content-Type: application/json" \
      -d '{
        "model": "ling-3.1-flash",
        "messages": [{"role": "user", "content": "用一句话说明 MoE 模型的特点"}],
        "max_tokens": 128
      }'

    如果是把推理服务放在对外提供访问的服务器上,建议只监听内网地址,由 Nginx 反向代理统一入口,并加上请求体大小与超时限制。模型服务本身不宜直接暴露在公网。

    开源节奏变化对建站者的实际意义

    同一时期,阶跃星辰 Step 5 Preview 也开放了完整权重,华为昇腾、沐曦、壁仞、摩尔线程、海光 DCU 均宣布 Day-0 适配。可以看出,开源模型的竞争点正在从跑分转向“可部署在自有基础设施上的执行能力”,量化压缩和部署成本成了新的卖点。对中小站长而言,这意味着在自有服务器上跑一个中等规模模型的门槛在下降,但硬件采购前仍要先算清显存、带宽和电费,再用小流量验证业务收益,避免一次性投入过大。

    继续阅读

    📑 📅
    千亿资金涌入头部,10月国内大模型融资与上市筹备提速 2026-10-20
    10月开源潮:Ling-3.1-flash与DeepSeek V4.1同周更新 2026-10-20
    百度文心5.0:2.4万亿参数原生全模态模型落地 2026-10-20
    腾讯Marvis上架银河麒麟,AI管家适配国产系统 2026-10-20
    无问芯穹23亿C轮落地,AI原生基础设施受关注 2026-10-20
    10月国内AI产业观察:算力扩张与智能体落地加速 2026-10-20
    扩散语言模型公司DiffuSpace融资近5亿元 2026-10-20
    扩散语言模型获数亿融资,端侧Agent成新看点 2026-10-21
    十月国产大模型开源竞赛:记忆与长上下文齐发力 2026-10-21
    DeepSeek融资翻倍至千亿,科创板上市在即 2026-10-21