记忆张量开源MemT 1.0:大模型开始“会积累”

    发布时间:2026-10-22 08:26 更新时间:2026-10-22 08:26 阅读量:2

    10月20日,记忆张量发布记忆原生大模型 MemT 1.0 系列,并在 Hugging Face 开源模型权重,官方口径为免费获取。这次发布值得注意的是架构思路:它没有继续在上下文长度上堆数字,而是把“记忆”做成模型前向传播的一部分。对关注国产开源模型的站长和开发者来说,这是一个值得留意的技术方向。

    记忆模块如何嵌进Transformer

    按公开介绍,MemT 1.0 在 Transformer 中引入原生记忆模块,让常规注意力与记忆注意力并行工作,记忆因此成为前向传播的一环,历史信息可以在不同任务之间被直接调用,而不必每次靠长提示词重新“喂”给模型。支撑这套机制的两块设计是:基于 Gated DeltaNet-2 的逐 token 稳定更新,以及 Mixture-of-Storage 混合存储扩容。通俗说,前者负责让记忆写入过程保持稳定,后者负责在记忆容量需要扩张时做结构化扩展。

    本次开源包含两个规格:MemT-1.0-Flash(288B)与MemT-1.0-Nano(36B)。参数规模一大一小,明显是奔着“云端主力 + 轻量落地”两条线去的,小规格更适合资源有限的团队先做验证。

    评测表现与可获取方式

    官方披露的评测数据里,两项结果比较直观。其一是记忆能力:在 11 项记忆基准上,Flash 与 Nano 平均得分分别为 50.6 和 47.0,分列参数化记忆方法的第一、第二。其二是代码能力:Nano 在 SWE-bench Verified 上的成功率从 66.07% 提升到 69.73%,说明记忆机制不只影响“记住多少”,也可能影响多步任务的连续性。

    获取方式上,模型已在 Hugging Face 开源,权重免费。需要提醒的是,288B 与 36B 属于不同量级的部署目标,显存、推理框架与量化方案要按实际环境评估,具体支持的推理后端与硬件适配情况,建议以官方仓库说明和实际测试为准,本文不做推测。

    对建站与运维场景的意义

    对普通站长而言,这批模型短期内更现实的价值在“自建服务”方向:把模型部署在自己的服务器或云主机上,用于客服问答、内容辅助生成、日志归因等场景时,记忆机制意味着不必每次都把历史对话塞进超长上下文,从而节省显存与推理开销。若要尝鲜,可先在具备 GPU 的测试机上按官方仓库的依赖说明拉起推理服务,再逐步接入业务;涉及对外提供服务的,记得同步做好访问控制与限流,避免接口被滥用。模型迭代较快,本文所述参数与评测数据均来自发布方公开信息,后续版本变化以官方公告为准。

    继续阅读

    📑 📅
    Xing4.0-29B-Intent开源:意图理解有了专用小模型 2026-10-22
    WPS 365政务版落地:办公AI转向订阅式服务 2026-10-22
    北京经开区新增10个垂直大模型备案,世界模型入列 2026-10-22
    国产算力迈入规模化阶段:智算规模达2185 EFLOPS 2026-10-22
    百度搭子从办公桌走向生产线,智能体开始接管企业核心业务 2026-10-22
    国产模型开源潮:从百万上下文到原生记忆 2026-10-22
    10月国产开源大模型密集更新:端侧与百万上下文成焦点 2026-10-22
    10月国内大模型融资升温 算力与具身智能受关注 2026-10-22
    蚂蚁百灵开源Ling-3.1-flash:560B参数、1M上下文、4卡可部署 2026-10-22
    DeepSeek V4.1 Flash-1017更新:编程与智能体能力提升 2026-10-22