面壁智能MiniCPM-V 4.7发布:3GB内存跑35B端侧模型

    发布时间:2026-10-15 00:25 更新时间:2026-10-15 00:25 阅读量:0

    10月13日,面壁智能发布新一代端侧多模态大模型MiniCPM-V 4.7,包含35B-A3B与1B两个版本。其中35B-A3B采用MoE(混合专家)架构,总参数350亿,但每次推理只激活约30亿参数,官方称这是首个可在端侧无损流畅运行的开源MoE模型。对长期关注端侧部署的站长和运维来说,这次更新值得留意的地方不在参数规模,而在内存占用与解码速度这两项硬指标。

    3GB内存与13+ token/s意味着什么

    据公开信息,MiniCPM-V 4.7的35B-A3B版本仅需约3GB内存即可运行,在iPhone 17 Pro Max与iPad Pro实测中解码速度达到13至15+ token/s。这个量级已经接近日常可用的交互体验——端侧推理不再只是演示性质的"能跑起来",而是可以支撑连续对话和多模态输入的实用水平。支撑这一表现的核心是面壁自研的LES(前瞻专家调度)技术,其思路是提前预判并加载后续需要的"专家"模块,让权重加载与计算同步推进,从而缓解端侧设备上MoE模型常见的加载等待问题。面壁方面表示,该方案目前为业界独家的开源实现。

    生态适配方面,MiniCPM-V 4.7支持iOS、安卓与鸿蒙系统,并适配瑞芯微、NVIDIA、Intel、Apple、AMD、Arm、后摩等芯片平台。同时开源的还有Self-Replay Fine-Tuning(SRFT)微调方案,方便开发者针对垂直场景做二次训练。据官方披露,MiniCPM系列全球累计下载量已突破6000万次。

    端侧模型为什么越来越受关注

    把大模型放到手机、PC或边缘设备上跑,最直接的好处是数据不出本地、响应延迟低、不依赖持续联网。对于做网站和运维的读者,端侧模型的实际价值通常体现在两个方向:一是本地化的内容处理与日志摘要,减少把敏感数据传到云端的顾虑;二是作为云侧大模型的兜底方案,在网络抖动或API限流时保证基础功能可用。

    从近期国产开源模型的动向看,端侧化已经是明确主线之一。科大讯飞星火X2.5-4B与1.7B主打端侧通用能力并原生支持长上下文,面壁MiniCPM-V 4.7则把多模态与MoE结合后塞进手机。MoE架构的普及让"以小博大"成为可行路径——总参数量保持在较大规模以维持能力上限,实际推理时只调用其中一小部分,换取内存和算力的下降。

    部署前需要确认的几件事

    如果你打算在自有设备或边缘节点上试跑这类端侧模型,建议先确认内存余量、推理框架版本与芯片平台的适配情况。不同平台的量化方案和算子支持差异较大,实际速度与官方实测数据可能存在出入,具体以官方文档和实际环境为准。拉取模型权重前,可以先在测试机上做一轮小规模验证:

    # 示例:查看设备可用内存与推理框架版本(具体命令以实际环境为准)
    free -h
    transformers-cli env
    
    

    从 Hugging Face 拉取模型前,建议先确认磁盘余量与网络代理配置

    df -h /data

    需要提醒的是,端侧模型的"无损流畅"通常指在特定机型与特定量化配置下的表现,换一台内存更小的设备或关闭部分优化选项后,体验会有明显变化。面壁此次同步开源微调方案,对有定制需求团队来说是利好,但训练数据的准备与清洗仍是主要工作量所在。后续该系列是否继续下探更小参数版本、以及鸿蒙与安卓端的实际适配进度,以官方公告为准。

    继续阅读

    📑 📅
    快手可灵AI拟赴港上市 视频生成赛道资本提速 2026-10-14
    阶跃星辰Step 5 Preview开源:600B稀疏MoE,百万上下文 2026-10-14
    月之暗面Pre-IPO估值500亿美元,拟2027年赴港 2026-10-14
    阿里千问Go内测:个人智能体开始代办生活琐事 2026-10-14
    DeepSeek传千亿融资,国产大模型资本竞赛升温 2026-10-14
    模思智能超10亿元融资落地,MOSS Live将发布 2026-10-15
    扩散语言模型公司DiffuSpace两轮融资数亿元 2026-10-15
    山东发布7个垂直领域大模型,制造业成落地主战场 2026-10-15
    蚂蚁灵光开启内测,AI助手转向个人智能体 2026-10-15
    Manus母公司蝴蝶效应完成超5亿美元融资 2026-10-15