十月国产开源大模型密集更新:稀疏MoE与百万上下文成标配

    发布时间:2026-10-19 04:56 更新时间:2026-10-19 04:56 阅读量:2

    十月的国产开源大模型迎来一波集中更新。蚂蚁百灵、阶跃星辰、面壁智能先后放出新权重,参数规模从十亿级端侧模型到五千亿级稀疏MoE各不相同,但几个共同点很清晰:稀疏MoE成为主流架构,百万级上下文开始普及,国产算力适配的速度被提到了发布当天。对打算自建推理服务的站长和运维来说,这批模型值得花时间评估。

    三家新模型各自解决了什么问题

    蚂蚁百灵在10月15日至16日开源了Ling-3.1-flash,总参数约560B,每个Token只激活约25B,采用512个路由专家选8加1个共享专家的稀疏MoE结构,并搭配混合线性注意力,最高支持1M上下文。官方给出的量化方案把路由专家压到MXFP4、稠密层用block-FP8,权重从约534GB降到292GB,Hopper平台上的部署规模也从8卡降到4卡。这一改动对预算有限的团队意义不小,显存门槛直接砍掉近一半。模型采用MIT许可证,权重已上线Hugging Face与ModelScope,官方提供vLLM和SGLang两种部署方案,重点面向编程、智能体、搜索、办公以及金融、材料科学等专业场景。

    阶跃星辰在10月15日开放了Step 5 Preview的BF16与FP8两版权重,官方定位是AI编程、软件工程、专业工作与金融任务达到前沿水平。发布同步上线Hugging Face和ModelScope,支持vLLM、SGLang、Transformers。更值得关注的是国产算力适配:华为昇腾、沐曦、壁仞、摩尔线程均在发布当日给出支持,昇腾侧同日点亮了1024卡Atlas 950 SuperPoD液冷超节点。对已经采购国产加速卡的机房来说,这种首日适配能省下不少迁移验证的时间。

    面壁智能10月13日发布的MiniCPM-V 4.7走的是另一条路线——端侧多模态,提供35B-A3B(MoE,激活3B)和1B两个版本。35B-A3B约3GB内存即可运行,iPad Pro实测解码速度超过15 token/s,依托自研的LES前瞻专家调度技术缓解MoE在端侧加载时的卡顿。发布即支持瑞芯微、NVIDIA、Intel、Apple,兼容iOS、安卓与鸿蒙。据官方信息,MiniCPM系列全球累计下载量已突破6000万次。

    部署前先算清显存与许可

    从运维角度看,稀疏MoE的“总参大、激活小”听着美好,但显存占用仍按总参数算,不是按激活参数算。以Ling-3.1-flash为例,未量化权重约534GB,即便采用官方量化版也需约292GB,多卡张量并行几乎是必选项。部署前建议先用nvidia-smi确认单卡显存与卡间互联带宽,再决定切分策略。下面是拉取模型并启动vLLM服务的一个通用示例,具体参数请以各模型官方文档为准:

    # 准备环境(以官方 requirements 为准)
    pip install -U vllm
    
    

    从 ModelScope 拉取权重(示例仓库名以官方发布为准)

    pip install modelscope modelscope download --model <官方模型ID> --local_dir ./ling-3.1-flash

    启动 OpenAI 兼容服务,按实际卡数调整 tensor-parallel-size

    python -m vllm.entrypoints.openai.api_server \ --model ./ling-3.1-flash \ --served-model-name ling-3.1-flash \ --tensor-parallel-size 4 \ --max-model-len 131072 \ --port 8000

    许可证方面,Ling-3.1-flash采用MIT,商用限制较少;Step 5 Preview与MiniCPM-V 4.7的具体条款同样建议直接查阅仓库中的LICENSE文件,再做商用决策。另外,百万上下文虽然支持,但开满会显著抬高KV Cache占用,生产环境里更稳妥的做法是按业务实际长度设置max-model-len,而不是一上来就拉满。

    选型的一点参考思路

    如果业务以编程辅助、智能体调度、长文档检索为主,且机房有4卡以上的Hopper或同等级算力,Ling-3.1-flash这类稀疏MoE加长上下文的组合比较对口;如果已经有昇腾等国产卡存量,Step 5 Preview的首日适配能减少踩坑;如果是做本地知识库、离线客服或移动端应用,MiniCPM-V 4.7的1B版本和3GB内存门槛更容易落地,配合Ollama一类工具即可在边缘设备上跑起来。模型迭代节奏这么快,建议把权重版本、量化方案、许可证在内部做一份台账,升级时对照验证,避免线上服务跟着仓库变动被动漂移。

    继续阅读

    📑 📅
    阶跃星辰开源Step 5 Preview,国产算力同日适配 2026-10-19
    十月国内AI大模型融资密集,资本向头部集中 2026-10-19
    十月国产大模型开源密集上新,端侧与百万上下文成关键词 2026-10-19
    蚂蚁开源Ling-3.1-flash:560B参数支持百万上下文 2026-10-19
    小米开源空间音频理解大模型MiDashengLM-Spatial 2026-10-18
    10月国内AI融资密集:基础设施与具身智能受捧 2026-10-19
    560B参数仅激活25B:蚂蚁百灵Ling-3.1-flash开源解读 2026-10-19
    十月国产算力提速:国产AI加速卡份额首破四成 2026-10-19
    月之暗面传赴港上市,估值与融资节奏引关注 2026-10-19
    面壁智能MiniCPM-V 4.7发布:端侧多模态跑进3GB内存 2026-10-19