腾讯混元Hy4正式开源,百万上下文MoE模型开放权重

    发布时间:2026-11-22 00:25 更新时间:2026-11-22 00:25 阅读量:0

    11月20日,腾讯混元正式开源旗舰模型Hy4,随着这一版本开放权重,混元LLM系列实现了全量开放,此前发布的Hy3 preview、Hy3、Hy4 preview以及Hy4 flash均已陆续开源。对关注国产大模型选型的站长和开发者来说,这意味着又多了一个可下载、可商用、可二次开发的权重选项。

    Hy4到底开放了什么

    从公开信息看,Hy4采用MoE混合专家架构,总参数770B,单次推理激活参数49B,上下文长度突破100万Token。配套的Hy4 flash总参数224B,其中包含64B Engram参数,激活仅12B,支持多模态与100万上下文,定位上更偏向对成本敏感的高频调用场景。

    协议层面,Hy4采用Apache 2.0,允许商用与修改,官方同步发布了安全评估卡片(System Card)。权重与代码在GitHub、Hugging Face、ModelScope、GitCode四个平台同步上线,国内开发者可以直接从ModelScope拉取,海外协作场景则走Hugging Face更方便。具体文件体积、显存需求与推理框架适配情况,建议以各平台模型卡和官方文档为准。

    百万级上下文配合稀疏激活,是今年国产旗舰模型的常见组合:上下文拉长意味着单次请求能塞进更多文档或代码,激活参数控制在几十B量级则决定了推理成本不会随总参数线性上涨。对于自建知识库问答、长文档摘要这类应用,这种结构比单纯堆参数更有实际意义。

    同期开源节奏明显加快

    混元Hy4不是孤例。11月17日,商汤开源SenseNova-Loop-9B正式版,约9B参数的循环架构多模态模型,32个解码器层中第4至27层共享权重并连续执行两次,一次前向完成56次层计算,上下文最高512K tokens,同样采用Apache 2.0,官方AWQ 4-bit量化版首日同步上线。月之暗面则公布了Kimi K3.1 Pro的完整模型权重,在技术社区引发不少讨论。

    把这几件事放在一起看,国产大模型的开源已经从“放出权重”走向“可商用、可复现、可二次开发”。协议清晰、量化版本跟得上、多平台同步发布,这些配套动作对实际落地的影响,往往不比参数表小。

    给建站与运维人员的几点提示

    如果你打算在自有服务器上尝试这类模型,第一步不是急着下载权重,而是先确认硬件与推理框架。以Hy4的770B总参数规模,全量本地部署对绝大多数中小团队并不现实,更务实的路径是通过云平台API调用,或者选择激活参数更小的flash版本、量化版本做本地验证。

    部署前可以用下面这条命令快速确认机器的GPU型号与显存情况,再对照模型卡里的显存要求做判断:

    nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv

    另外,从ModelScope拉取权重时建议先核对文件清单与校验信息,避免下载中断导致文件不完整。开源协议允许商用,但再分发和二次训练仍需遵守Apache 2.0的署名与声明要求,涉及对外提供服务时,建议把许可证文本一并留存。模型的具体能力边界、评测成绩与版本更新,请以腾讯混元官方渠道发布的信息为准。

    继续阅读

    📑 📅
    11月国产AI应用密集上线:智能体从对话走向执行 2026-11-21
    无涯智远获数亿元天使轮:参数持续学习路线受关注 2026-11-21
    腾讯混元Hy4开源:770B参数与百万上下文如何用在站长业务里 2026-11-21
    月之暗面Kimi K3.1 Pro开源权重落地:参数与定价怎么算 2026-11-21
    豆包工作上线工作台:企业AI从对话走向执行 2026-11-21
    DeepSeek千亿融资落地,资本向大模型头部集中 2026-11-22
    国产AI芯片份额破四成,推理需求成新战场 2026-11-22
    无涯智远获数亿元天使轮,押注大模型持续学习 2026-11-22
    商汤SenseNova-Loop-9B正式版开源:循环架构与512K上下文 2026-11-22
    观壹智能首轮融资数亿元,押注生命智能基础模型 2026-11-22