560B参数仅激活25B:蚂蚁百灵Ling-3.1-flash开源解读

    发布时间:2026-10-19 04:57 更新时间:2026-10-19 04:57 阅读量:1

    10月中旬,蚂蚁百灵开源了 Ling-3.1-flash。按照公开信息,这款模型总参数约560B,但每个Token只激活约25B,属于典型的稀疏MoE路线;上下文窗口最高支持1M,许可证为MIT,权重已上线Hugging Face与ModelScope,官方同时给出了vLLM、SGLang两种部署方案。对做建站和运维的人来说,值得关注的不是参数数字本身,而是它把「大模型跑起来」的显存门槛压到了什么位置。

    稀疏MoE加混合线性注意力,省的是什么

    素材显示,Ling-3.1-flash 采用稀疏MoE与混合线性注意力结合的结构,路由部分为512个专家中选8个,外加1个共享专家。总参数量决定模型「知道多少」,激活参数量决定每个Token实际要算多少,两者拉开差距,推理时的算力开销就主要落在激活的那部分上。混合线性注意力则用于缓解长上下文带来的计算增长压力,这也是它能标称1M上下文的基础。

    更实际的一步在量化。官方对routed experts使用MXFP4、dense层使用block-FP8后,权重体积从约534GB降到292GB,Hopper GPU上的部署需求从8卡降到4卡。换句话说,同样的机器能塞下更大的模型,或者用更少的卡跑同一件事。据了解,该模型在Artificial Analysis智能指数上为41,输出速度约210 token/s,官方定位的重点场景包括编程、智能体、搜索、办公,以及金融、材料科学等专业领域。这些指标的具体口径以官方文档和实测为准。

    想自己验证,先看显存档位再动手

    对中小站点而言,直接上4卡Hopper并不现实,比较稳妥的做法是先确认量化权重的实际体积,再决定是本地起服务还是走API。下面这组命令用于检查权重文件与运行环境,属于通用排查思路,具体路径以你下载的实际目录为准。

    # 查看量化权重目录占用,确认与官方公布的292GB量级是否一致
    du -sh ./Ling-3.1-flash-weights
    
    

    查看显卡型号、显存与驱动版本

    nvidia-smi

    确认vLLM版本是否满足官方部署要求

    pip show vllm

    启动前先看显存余量,避免加载中途OOM

    nvidia-smi --query-gpu=memory.total,memory.used --format=csv

    如果显存不足,优先考虑官方提供的量化版本,而不是自行压缩;vLLM和SGLang的参数项在版本之间会有差异,启动命令建议照官方仓库的示例改,不要凭记忆拼参数。

    对站长和运维意味着什么

    这类模型的看点有两个。一是MIT许可证对商用比较友好,自建服务时授权层面少一层顾虑,但仍需阅读仓库中的完整许可说明。二是稀疏MoE加低精度量化正在成为国产开源模型的常见组合,部署侧的重点从「买不买得到卡」逐渐转向「显存怎么分配、并发怎么控」。需要提醒的是,模型权重体积大、下载耗时长,部署前先规划磁盘与带宽;多卡环境下还要确认互联与驱动版本匹配。至于模型在具体业务上的效果,建议先用小流量做对比测试,再决定是否替换现有服务,最终以官方公告与实际环境为准。

    继续阅读

    📑 📅
    10月国内AI融资密集:基础设施与具身智能受捧 2026-10-19
    十月国产开源大模型密集更新:稀疏MoE与百万上下文成标配 2026-10-19
    阶跃星辰开源Step 5 Preview,国产算力同日适配 2026-10-19
    十月国内AI大模型融资密集,资本向头部集中 2026-10-19
    十月国产大模型开源密集上新,端侧与百万上下文成关键词 2026-10-19
    十月国产算力提速:国产AI加速卡份额首破四成 2026-10-19
    月之暗面传赴港上市,估值与融资节奏引关注 2026-10-19
    面壁智能MiniCPM-V 4.7发布:端侧多模态跑进3GB内存 2026-10-19
    阶跃星辰开源Step 5 Preview权重,国产算力同步适配 2026-10-19
    扩散语言模型公司DiffuSpace连获两轮数亿元融资 2026-10-19