发布时间:2026-10-19 08:02 更新时间:2026-10-19 08:02 阅读量:4
端侧大模型这条线上,10月又添了一个新版本。面壁智能在10月13日发布新一代端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B(MoE 架构,激活约 3B)与 1B 两个版本。官方给出的数据是:35B-A3B 版本大约 3GB 内存即可运行,在 iPad Pro 上解码速度可达每秒 15 个 token 以上。对于想把模型塞进平板、手机甚至机器人本体的团队来说,这个内存门槛值得关注。
第一个看点是 MoE 在端侧的落地方式。MoE 模型参数总量大、单次激活少,理论上是端侧的好选择,但专家调度带来的卡顿一直是实际部署中的麻烦。面壁这次把自研的 LES(前瞻专家调度)技术放进了 MiniCPM-V 4.7,用于缓解端侧推理时的调度抖动。具体效果如何,仍需在真实设备上验证,以官方技术文档和实测为准。
第二个看点是适配节奏。官方表示发布即完成对瑞芯微、NVIDIA、Intel、Apple 等芯片平台的适配,支持 iOS、安卓、鸿蒙三个系统。端侧模型的竞争,很大程度上不在参数表,而在“能不能在用户手里的设备上跑起来”。从这一点看,MiniCPM-V 4.7 走的是先铺开硬件与系统覆盖面、再谈能力的路线。面壁同时披露,MiniCPM 系列累计下载量已突破 6000 万次。
很多读者会问:端侧多模态模型和我的网站、服务器有什么关系?短期看,最直接的关联是成本结构。把图片识别、内容审核、简单问答这类请求放到用户设备或边缘节点上处理,可以少走一趟云端 API,既降延迟也降流量账单。对于做图片站、社区站、工具站的站长,端侧模型成熟意味着前端能承担更多轻量推理任务。
如果需要在本机或自有服务器上试跑,可以参考下面的思路准备环境,具体命令与参数请以官方仓库和实际硬件为准:
# 示例:准备 Python 环境并查看可用显存/内存
python3 -m venv venv
source venv/bin/activate
pip install --upgrade pip
查看本机内存与 GPU 情况
free -h
nvidia-smi # 无 NVIDIA 显卡可跳过
模型权重与推理脚本请从官方仓库获取
例如使用 git 拉取后按 README 安装依赖
git clone <官方仓库地址>
cd <仓库目录>
pip install -r requirements.txt
部署时建议先在开发机验证显存与内存占用,再决定是否上线到生产环境;端侧场景还要考虑设备发热与耗电,不能只看单次推理速度。
把 10 月的几条动态放在一起看,端侧已经成为国产大模型的固定战场:面壁更新 MiniCPM-V 系列,科大讯飞此前开源的星火 X2.5-4B/1.7B 主打端侧长上下文,中国电信星辰 Xing4.0-29B 也强调量化后可在消费级显卡本地运行。共同点是参数做小、上下文做长、适配做宽。对建站与运维群体来说,这意味着本地化 AI 能力的选型空间在变大,但选型时仍应回到自己的业务场景:是内容审核、图片处理,还是站内问答,不同任务对模型能力的要求差别很大。
需要提醒的是,端侧模型的能力边界与云端旗舰模型仍有差距,涉及复杂推理的任务不建议直接下放到端侧。是否采用、采用哪个版本,建议结合官方公布的评测数据与自己的实测结果判断。
| 📑 | 📅 |
|---|---|
| 扩散语言模型DiffuSpace两轮融资近5亿,10月将开源新模型 | 2026-10-19 |
| 10月国产大模型融资潮:头部千亿级与细分路线并进 | 2026-10-19 |
| 蚂蚁开源560B模型Ling-3.1-flash,1M上下文落地 | 2026-10-19 |
| 扩散语言模型公司DiffuSpace连获两轮数亿元融资 | 2026-10-19 |
| 阶跃星辰开源Step 5 Preview权重,国产算力同步适配 | 2026-10-19 |
| 百度文心5.0原生全模态大模型发布 | 2026-10-19 |
| 元环智能两轮融资数亿元,做能设计模型的元模型 | 2026-10-19 |
| 国产AI芯片出货量超GPU,算力格局生变 | 2026-10-19 |
| 模思智能完成超10亿元Pre-A轮融资 | 2026-10-19 |
| 蚂蚁百灵Ling-3.1-flash开源:560B参数与1M上下文 | 2026-10-19 |