发布时间:2026-10-22 00:44 更新时间:2026-10-22 00:44 阅读量:5
10月13日,面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,一次给出 35B-A3B 与 1B 两个版本。按官方披露的信息,这是首个可在端侧无损流畅运行的开源 MoE 模型。所谓「无损」,指的是在端侧运行时不牺牲模型本身的效果,而不是靠裁剪参数换取速度,这一点对想在本地跑多模态能力的团队来说比较关键。
从参数命名也能看出它的设计思路:35B-A3B 表示总参数约 35B、每个 Token 只激活约 3B,MoE 架构把「大容量」和「低推理开销」拆开处理;1B 版本则面向更轻的设备与更紧的资源预算。两个版本同时发布,意味着同一套模型能力可以按硬件条件分层落地。
过去一年,国产模型在端侧的动作明显变密。9月科大讯飞开源的星火 X2.5-4B 与 1.7B,主打端侧通用与长上下文;10月面壁把多模态能力压到端侧,方向上形成了互补。对站长和运维人员来说,端侧模型的意义不在于追新,而在于部署形态的变化:图片理解、文档识别这类任务可以放到本地设备或内网机器上完成,不必每次都把数据传到云端接口。
这会直接影响三件事——带宽与调用成本、数据出域的合规压力,以及离线或弱网环境下的可用性。多模态场景往往伴随图片、扫描件这类体积较大的输入,本地推理能省掉一轮上传下载,实际体验和费用都会更可控。当然,具体能跑多快、占用多少显存,仍取决于设备与推理框架,以官方文档和实测为准。
端侧模型是否「流畅」,最终要看推理后端和量化配置。下面这组命令只是通用检查思路,用于确认机器上的 Python 环境与显存情况,模型下载与加载请以面壁官方仓库说明为准,不要照搬第三方来源的脚本。
python3 --version
pip3 --version
nvidia-smi
free -h
df -h /data确认环境后,再按官方提供的权重与推理代码配置。需要提醒的是,MoE 模型的总参数和激活参数差别很大,显存估算不能简单按总参数量乘以精度来算,实际占用与专家并行、批大小、上下文长度都有关。若在纯 CPU 或边缘设备上尝试 1B 版本,建议先用短输入做一次延迟测试,再决定是否接入业务。
10月的国产模型发布节奏很密集:阶跃星辰开源 Step 5 Preview,稀疏 MoE、总参数 600B、支持百万 Token 上下文;蚂蚁百灵开源 Ling-3.1-flash;DeepSeek 更新 V4.1 Flash-1017;MiniMax 发布 M3.1 Flash。开源与端侧两条线同时推进,说明厂商在拼的不只是榜单分数,还有「能不能装进用户的机器里」。
对建站和运维人群,比较务实的做法是先把端侧模型当成一个可选组件:图像审核、票据识别、内容摘要这类高频轻任务可以试本地推理,重任务仍交给云端 API。MiniCPM-V 4.7 的实际表现、许可证条款与硬件适配清单,请以面壁智能官方发布信息为准,后续版本变化也建议持续关注官方仓库。
| 📑 | 📅 |
|---|---|
| 国产算力规模跃升:智算2185 EFLOPS之后 | 2026-10-22 |
| 四卡跑560B:蚂蚁百灵Ling-3.1-flash开源 | 2026-10-22 |
| 百度搭子升级:智能体从办公桌走向生产线 | 2026-10-22 |
| 讯飞星火X2.5端侧模型开源:百万上下文装进本地 | 2026-10-22 |
| 10月AI融资观察:DeepSeek拟募千亿、无问芯穹C轮23亿 | 2026-10-22 |
| DeepSeek V4.1 Flash更新:编程与智能体能力双提升 | 2026-10-22 |
| 扩散语言模型获数亿融资,dLLM路线受关注 | 2026-10-22 |
| 国产开源大模型十月密集更新:记忆架构与低成本部署成焦点 | 2026-10-22 |
| 百度搭子从办公桌走向生产线,智能体开始接管企业核心业务 | 2026-10-22 |
| 国产算力迈入规模化阶段:智算规模达2185 EFLOPS | 2026-10-22 |