面壁智能开源MiniCPM-V 4.7:3GB内存跑35B模型

    发布时间:2026-10-16 04:01 更新时间:2026-10-16 04:01 阅读量:0

    10月13日,面壁智能发布新一代端侧多模态开源模型 MiniCPM-V 4.7,一次给出 35B-A3B(MoE)与 1B 两个版本。官方信息显示,这是首个可在端侧无损流畅运行的开源 MoE 模型,约 3GB 内存就能跑起来,在 iPhone 17 Pro Max 上解码速度达到 13+ token/s。对做建站、小程序和轻量客户端的站长来说,这类「小内存跑大模型」的进展,意味着端侧 AI 功能的落地门槛正在被重新定义。

    35B 激活 3B:MoE 把端侧算力用在刀刃上

    MiniCPM-V 4.7 的 35B-A3B 版本采用的是稀疏 MoE(混合专家)架构,总参数量 35B,但每次推理只激活其中一部分专家,所以实际占用的内存和算力远低于同等规模的稠密模型。按面壁智能公布的数据,约 3GB 内存即可在端侧无损运行,这比很多人对「30B 级别模型」的直觉要低不少。

    支撑这一点的是其自研的 LES(前瞻专家调度)技术。官方称这是业界独家的开源方案,思路是在推理前预判需要哪些专家,减少无效计算与内存搬运。对运维人员来说,这类调度的价值不只是「快」,更在于把端侧设备的内存带宽和功耗压在可控范围内——手机、平板、边缘盒子这类设备,最怕的就是模型一跑就烫、一跑就掉电。

    此外,模型支持 iOS、安卓、鸿蒙三大移动端系统,并适配瑞芯微、NVIDIA、Intel、Apple、AMD、Arm 等平台。具体各平台的量化版本、内存占用与推理框架支持情况,建议以面壁智能官方仓库和文档为准。

    端侧多模态的机会与部署提醒

    面壁智能同时透露,MiniCPM 系列全球累计下载量已突破 6000 万次。这个体量说明端侧模型已经不只是实验室里的演示,而是被大量开发者和硬件厂商真正拿去用了。多模态能力叠加端侧运行,比较典型的场景包括本地图片理解、文档识别、离线问答等,对数据不出本机的需求比较友好。

    如果你的站点或应用打算接入端侧模型,部署前可以先做几件事:核对目标设备的系统版本与芯片架构是否在官方适配列表内;确认所用推理框架(如 llama.cpp、Ollama 等)是否已支持该模型的权重格式,具体以官方发布说明为准;在真机上实测内存峰值与持续解码速度,别只看峰值跑分。

    # 示例:查看本机内存与架构,作为端侧部署前的环境核对
    

    不同系统命令不同,以下以 Linux 环境为例

    uname -m free -h

    若使用 Ollama 类工具拉取模型,模型名称与标签请以官方仓库为准

    ollama pull <model-name> ollama run <model-name>

    需要提醒的是,端侧跑模型和服务器上跑模型是两套思路。服务器可以堆显存、堆并发,端侧要在内存、功耗、发热之间找平衡,量化精度、上下文长度、并发数往往要一起调。建议先在测试机上把长上下文场景压一压,再决定对外放开多少功能。

    开源生态的下一步

    从 10 月的国产开源模型动向看,MoE 稀疏架构与端侧部署是两条并行的主线:一边是 600B 级别的旗舰基座模型开源,一边是 3GB 内存就能跑的端侧 MoE。对中小站长和独立开发者而言,后者带来的直接变化是——不用采购昂贵的推理卡,也能在自有设备上验证一部分 AI 功能。

    当然,端侧模型的能力上限与云端大模型仍有差距,适合做什么、不适合做什么,需要在业务里实测。面壁智能后续的版本更新与适配清单,以其官方公告为准。

    继续阅读

    📑 📅
    科大讯飞星火X2.6将发布,主打全国产算力云+端协同 2026-10-16
    阶跃星辰Step 5 Preview开源:600B MoE模型完整权重释出 2026-10-16
    腾讯WorkBuddy与企业微信打通,企业级AI智能体加速落地 2026-10-16
    10月国内AI融资观察:扩散模型与新范式受关注 2026-10-16
    国产算力芯片Day-0适配成新常态 2026-10-16
    蚂蚁百灵开源Ling-3.1-flash:560B稀疏MoE支持百万上下文 2026-10-16
    元环智能获数亿元融资:平均22岁的团队在做什么 2026-10-16
    全球AI周调用量前五全是中国模型,数据说明什么 2026-10-16
    阶跃星辰开源Step 5 Preview:600B参数MoE模型解析 2026-10-17
    扩散语言模型公司DiffuSpace完成数亿元融资 2026-10-17