发布时间:2026-10-03 00:25 更新时间:2026-10-03 00:25 阅读量:10
9月下旬的国产大模型开源节奏明显加快,小米在9月22日放出旗舰推理模型MiMo-V2.6,Pro版本总参数达到1.02万亿,采用MoE稀疏架构。据公开信息,该模型在Artificial Analysis综合智能指数上取得46分,位列开源模型第一,超过同期被提及的Kimi K3、GLM-5.3与DeepSeek V4.1。对关注建站与运维的读者来说,这类消息的价值不在于参数竞赛本身,而在于开源权重意味着可以本地部署、按需微调,把模型能力接进自己的业务系统。
看到1.02万亿这个数字,不少人第一反应是显存扛不住。MoE(混合专家)架构的设计思路正是把总参数与单次推理激活的参数拆开:模型整体容量很大,但每次请求只唤醒其中一部分专家,实际算力开销远低于参数规模给人的印象。素材中提到的MiMo-V2.6-Pro属于旗舰推理版本,与Flash版本形成高低搭配,前者面向复杂推理任务,后者更适合高并发、低延迟的场景。
更值得留意的是小米在9月23日预告的下一代MiMo-V3新架构,以及同步发布的核心组件HySparse 2。按素材描述,在100万token上下文下,HySparse 2可将预填充算力降低约5.02倍、KV缓存缩小约4.5倍。长上下文一直是自建AI应用的痛点:上下文越长,显存占用与首字延迟越高。如果这类稀疏化方案能在开源权重中落地,对需要处理长文档、日志分析、知识库问答的站长群体是比较实际的好消息。具体效果仍以官方技术报告和实测为准。
把视野放宽,9月并非小米一家的动作。华为openPangu-2.0在9月28日开源预训练、SFT代码和后训练RL代码,定位昇腾生态的实践参考;阶跃星辰Step 5 Preview总参数6000亿、推理仅激活270亿,原生支持100万token上下文与视觉输入,权重计划10月15日正式开源;中国电信星辰大模型Xing4.0-29B发布3天即登上Hugging Face趋势榜第四,是国内首个基于国产算力和国产框架训练、面向复杂工程任务的百亿参数模型,并可在消费级显卡上本地运行。
这些模型有一个共同特征:强调Day 0适配国产算力平台,昇腾、摩尔线程、寒武纪、沐曦、昆仑芯等名字反复出现。对运维人员而言,这意味着选型时除了看跑分,还要看推理框架与自家硬件的兼容程度。部署前建议先确认模型权重许可协议、量化版本是否齐全、推理引擎是否支持目标显卡,再决定是否投入生产环境。
开源权重到手之后,第一步通常是本地拉起推理服务。以常见的vLLM为例,启动命令大致如下,具体参数需按显卡型号与模型版本调整,以官方文档为准:
python -m vllm.entrypoints.openai.api_server \
--model /data/models/MiMo-V2.6-Pro \
--served-model-name mimo-v2.6-pro \
--tensor-parallel-size 8 \
--max-model-len 32768 \
--gpu-memory-utilization 0.90 \
--port 8000
服务起来后,可以用一条简单的请求验证连通性:
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"mimo-v2.6-pro","messages":[{"role":"user","content":"用一句话介绍MoE架构"}]}'
要提醒的是,万亿参数级模型对显存和带宽要求很高,单机多卡未必够用,落地前更合适先用小参数模型跑通链路,再评估是否升级硬件。若只是做内容摘要、客服问答这类任务,Flash版本或29B级别的模型往往性价比更高。
综合来看,国产开源大模型正从“能不能用”走向“怎么用好”。参数规模、上下文长度、国产算力适配三条线同时在推进,对中小团队来说,选择空间比一年前大了不少。后续MiMo-V3与Step 5正式开源后的实测表现,值得持续关注,相关细节请以各厂商官方公告为准。
| 📑 | 📅 |
|---|---|
| 无问芯穹递表港交所,AI基建赛道再添IPO | 2026-10-03 |
| 百度文心5.0发布:2.4万亿参数原生全模态 | 2026-10-02 |
| 智谱GLM-5.3-FlashX上线:十万张国产芯片撑起推理 | 2026-10-02 |
| 中电信星辰Xing4.0-29B发布:单卡可跑的国产大模型 | 2026-10-02 |
| 中科院紫东太初5.0-9B开源:让AI读懂三维物理世界 | 2026-10-02 |
| 阶跃星辰Step 5 Preview开源,百万上下文加视觉输入 | 2026-10-03 |
| 华为openPangu-2.0开源训练与RL全流程代码 | 2026-10-03 |
| DeepSeek营收破10亿美元,筹备科创板上市 | 2026-10-03 |
| 中国电信Xing4.0-29B开源,国产算力训练百亿模型 | 2026-10-03 |
| 国产大模型集体转向长程任务,Agent竞赛提速 | 2026-10-03 |