DeepSeek开源推理框架DeepInfer,单集群日吞吐155万亿Tokens

    发布时间:2026-10-21 04:56 更新时间:2026-10-21 04:56 阅读量:3

    十月的国产大模型赛道,开源动作接连不断。据公开报道,DeepSeek 在 10 月 17 日将 V4.1 Flash 更新到 V4.1-Flash-1017 版本,网页端、APP 与 API 同步生效;间隔三天后的 10 月 20 日,又宣布全面开源内部推理框架 DeepInfer,并同步开源 Token 编解码组件 deepseek-recipe。对一个长期把模型权重开放出来的团队来说,这次把「跑模型的那套工程底座」也交出来,意义不太一样。

    这次开源了什么

    按报道中的描述,DeepInfer 面向推理场景,支持分布式推理、推测解码与结构化输出,并且同时兼容英伟达与华为昇腾两类硬件。官方给出的一个参考数字是:单集群吞吐可达 155 万亿 Tokens/天。需要说明的是,这类吞吐指标与集群规模、模型大小、输入输出长度强相关,具体数值以官方文档和实际环境为准,不能简单横向套用到自己的业务上。

    同批开源的 deepseek-recipe 是 Token 编解码组件。对自建推理服务的团队来说,分词与编解码环节看似不起眼,却直接影响请求解析、上下文拼接和流式输出的稳定性,单独拆出来开源,方便开发者按需集成。

    模型侧,V4.1 Flash 这一版基于自反馈强化学习做了优化,官方披露在 Terminal-Bench 4.0 上从 31.2 提升到 42.3,ProgramBench 从 20.3 提升到 29.1,主打自然语言直接完成开发的「许愿式编程」能力。模型权重按 MIT 许可证开放。

    对站长和运维意味着什么

    推理框架开源,最直接的受益者是打算私有化部署的团队。过去大家拿到权重之后,往往要自己拼推理引擎、调批处理、做量化适配,工作量不小;现在有了官方工程实现作参照,部署路径会清晰一些。尤其是同时兼容英伟达与昇腾,对受限于显卡供给、需要混合算力池的机房来说,多了一条可验证的路线。

    不过要提醒一句:开源不等于开箱即用。上线前建议先在小规模环境里跑通全流程,重点看显存占用、首 Token 延迟和长上下文下的稳定性,再逐步放量。下面是一个拉取镜像并做基础连通性检查的示例,镜像名与参数请以官方仓库说明为准。

    # 示例:拉取推理服务镜像并检查运行状态(镜像地址以官方仓库为准)
    docker pull <deepinfer-image>:latest
    docker run -d --name deepinfer \
      --gpus all \
      -p 8000:8000 \
      <deepinfer-image>:latest
    
    

    查看容器日志,确认服务是否正常启动

    docker logs -f deepinfer

    发起一次简单请求,验证接口连通性

    curl http://127.0.0.1:8000/v1/models

    另外,同一时间段里,蚂蚁百灵开源了 Ling-3.1-flash,记忆张量发布了记忆原生模型 MemT 1.0 系列,岩芯矩阵联合高校推出 EdgeRock-4B,国产开源模型的路线明显在分化:有的拼上下文长度,有的拼记忆机制,有的拼端侧与多模态。DeepSeek 这次选择把推理框架摆上台面,等于在「模型之外」再补一层基础设施的开放度。

    对建站和运维同学来说,短期不必急着跟进每一个新模型,但可以留意两件事:一是推理框架对国产芯片的适配进度,二是许可证条款,MIT 相对宽松,商用前仍建议核对仓库内的 LICENSE 文件与官方公告。涉及具体版本号、性能数据和部署要求,均以官方发布为准。

    继续阅读

    📑 📅
    十月大模型融资密集:千亿资金涌向头部 2026-10-21
    国产大模型十月开源密集上新,记忆原生与扩散路线受关注 2026-10-21
    扩散语言模型获资本关注:DiffuSpace两轮融资数亿元 2026-10-21
    蚂蚁百灵Ling-3.1-flash开源:560B参数4卡可部署 2026-10-21
    10月国内大模型融资升温:DeepSeek拟募千亿、Kimi估值冲高 2026-10-21
    蚂蚁百灵Ling-3.1-flash开源:560B参数支持1M上下文 2026-10-21
    国产AI芯片市占率升至约41%,算力竞争转向拼效率 2026-10-21
    DeepSeek开源推理框架DeepInfer,单集群日吞吐155万亿Token 2026-10-21
    蚂蚁百灵开源Ling-3.1-flash:560B参数4卡可部署 2026-10-21
    10月国产大模型融资与开源齐热:千亿资金涌入头部 2026-10-21