面壁智能开源MiniCPM-V 4.7,3GB内存跑端侧多模态

    发布时间:2026-10-14 00:23 更新时间:2026-10-14 00:23 阅读量:0

    10月13日,面壁智能发布新一代开源端侧多模态大模型 MiniCPM-V 4.7。这次更新同时给出 35B-A3B 与 1B 两个版本,其中 35B-A3B 采用 MoE 稀疏架构,总参数 350 亿、单次推理仅激活约 30 亿,官方给出的运行门槛是约 3GB 内存,定位为可在端侧流畅运行的开源 MoE 模型。

    从公开的实测数据看,iPhone 17 Pro Max 上解码速度可达 13+ token/s,iPad Pro 上为 15+ token/s。面壁方面介绍,这一成绩依托自研的 LES(前瞻专家调度)技术,思路是提前预判并加载本次推理需要的「专家」,让参数加载与计算同步推进,从而把端侧最吃力的加载环节藏进计算过程里。官方称该方案为业界独家的开源实现。

    端侧跑多模态,关键不只是「小」

    端侧模型的难点一直不只是把参数压小。多模态任务要同时处理图像与文本输入,显存和内存占用、跨平台算子适配、散热与续航都会直接决定体验。MiniCPM-V 4.7 在生态适配上覆盖 iOS、安卓、鸿蒙系统,并适配瑞芯微、NVIDIA、Intel、AMD、Arm、后摩等芯片平台,同时开源了 SRFT 微调方案,方便开发者按自己的场景继续调优。

    性能方面,官方给出的对比是 35B-A3B 综合得分超过 Qwen3.6 35B-A3B,1B 版本领先 Qwen3.5 0.8B。需要说明的是,这类横向对比多基于厂商自测口径,具体评测集与跑分细节以官方技术报告和实际环境为准。面壁同时披露,MiniCPM 系列全球累计下载量已突破 6000 万次。

    端侧模型为什么集中在这一时间段上新

    把这次发布放到近一个月的节奏里看会更清楚。科大讯飞此前开源了星火 X2.5-4B 与 1.7B,主打端侧原生支持最长 100 万 Token 上下文;中国电信开源的星辰 Xing4.0-29B 通过低比特量化等技术压缩显存占用,官方称消费级显卡即可本地运行。几家厂商不约而同把重点放在「小参数、低内存、跨平台」上,背后是同一个判断:推理需求正在从云端向终端分流,手机、平板、PC 与各类智能硬件都需要一个不依赖网络、响应更快的本地模型。

    对站长和建站运维人群来说,这类端侧模型的实际价值主要体现在两处。一是把轻量推理能力放进自有服务器或边缘节点,做站内搜索、内容初审、图片合规初筛这类高频但不需要大模型全力的任务,能省下可观的调用成本;二是数据不出本地,涉及用户提交内容时合规压力更可控。若要在自有环境试跑,常见做法是先准备好推理框架与量化权重,再按实际硬件调整并发。

    # 以 llama.cpp 加载端侧 GGUF 量化权重为例,路径与文件名以实际下载为准
    ./llama-server -m ./minicpm-v-4.7-1b-q4_k_m.gguf \
      --host 127.0.0.1 --port 8080 \
      -c 8192 -t 4
    
    

    验证服务是否正常响应

    curl http://127.0.0.1:8080/v1/models

    需要提醒的是,端侧部署的瓶颈往往不在模型本身,而在显存与内存余量、量化精度带来的效果折损,以及长上下文下的响应延迟。建议先按业务峰值估算并发,再决定用 1B 还是 35B-A3B 版本,并预留出内存水位。模型权重的下载地址、许可证条款与具体支持的硬件列表,以面壁智能官方仓库和公告为准。

    继续阅读

    📑 📅
    阿里千问App上线三天冲进免费榜前三 2026-10-13
    国产算力迈入放量期,智算标尺转向Token产出 2026-10-13
    蚂蚁灵光开启内测:从AI助手转向个人智能体 2026-10-13
    美团LongCat-2.5-Preview上线,代码能力加码开发场景 2026-10-13
    阶跃星辰Step 5 Preview接入腾讯WorkBuddy 2026-10-13
    蚂蚁灵光内测新版本:个人智能体对标Meta Muse 2026-10-14
    国产AI芯片出货占比升至41%,算力进入放量期 2026-10-14
    模思智能获超10亿Pre-A轮,全模态实时交互受资本关注 2026-10-14
    扩散语言模型受资本关注,DiffuSpace融资数亿元 2026-10-14
    DeepSeek传千亿融资,国产大模型资本竞赛升温 2026-10-14