DeepSeek开源推理框架DeepInfer,单集群日吞吐155万亿Token

    发布时间:2026-10-21 05:13 更新时间:2026-10-21 05:13 阅读量:2

    10月中下旬,DeepSeek 在更新模型版本之外还做了一件更值得运维圈关注的事:把内部使用的推理框架 DeepInfer 整体开源。据公开报道,该框架于 10 月 20 日发布,集成了高性能算子与优化后的推理引擎,支持分布式推理、推测解码、结构化输出等能力,官方披露单集群的服务吞吐可达每天 155 万亿 Tokens。对正在评估私有化部署方案的站长和运维来说,这类底层组件的开源,往往比模型本身的分数更影响实际落地成本。

    模型更新与框架开源同步推进

    在框架开源之前,DeepSeek 于 10 月 17 日把 V4.1 Flash 更新到 V4.1-Flash-1017 版本,重点提升了推理、编程、智能体与视觉理解方面的表现。据报道,其 Terminal-Bench 4.0 得分从 31.2 升至 42.3,ProgramBench 从 20.3 升至 29.1,权重与代码按 MIT 许可证开放。模型与框架几乎同期放出,意味着使用者可以拿到一套相对完整的自托管组合,而不只是单个权重文件。

    DeepInfer 的几个组件值得单独说明:一是推测解码,通过小模型起草、大模型校验的方式减少生成延迟;二是 SWA 滑动窗口注意力的有界重放机制,用于控制长上下文场景下的显存占用;三是结构化输出,方便把模型返回内容直接约束成 JSON 等格式,减少后处理代码。此外还开源了 Token 编解码组件 deepseek-recipe。硬件层面,框架同时兼容英伟达与华为昇腾,这一点对国产算力环境下的部署选择比较关键。

    部署前值得核对的几件事

    看到吞吐数字先别急着照搬。155 万亿 Tokens/天是特定集群规模下的官方口径,与单机、单卡的实际表现差距很大,具体能力以官方文档和自身压测结果为准。真正要动手时,建议先把推理服务放在独立端口并只对可信网段开放,不要把管理接口直接暴露到公网;容器运行尽量使用非 root 用户,模型权重目录单独挂载并设置只读权限。下面是一段常见的核对命令,用于确认服务监听状态与资源占用:

    # 查看推理服务监听端口与进程
    ss -lntp | grep -E '8000|8080'
    
    

    观察 GPU 显存与利用率(英伟达环境)

    nvidia-smi --query-gpu=index,memory.used,memory.total,utilization.gpu --format=csv

    确认模型目录权限为只读、属主非 root

    ls -ld /data/models /data/models/*

    另外,框架开源不等于开箱即用。分布式推理涉及节点间通信,多机部署时要提前规划内网带宽和端口放行范围;推测解码会额外占用一部分显存,显存紧张的环境可以先关掉该特性再逐步开启对比。版本迭代较快,升级前保留一份可回滚的镜像或权重快照,是运维侧比较稳妥的做法。

    开源节奏背后的行业信号

    把推理框架拿出来公开,说明头部厂商的竞争已经从模型参数延伸到工程效率层。对中小团队而言,好处是有机会复用经过大规模验证的推理优化思路;需要注意的是,框架与自家模型配合时效果通常更好,换用其他模型时性能表现要重新评估,不宜直接套用宣传数据。

    结合 10 月国内开源模型的整体节奏看,蚂蚁百灵 Ling-3.1-flash 强调量化后部署卡数从 8 卡降至 4 卡,阶跃星辰 Step 5 Preview 开源时多家国产芯片实现 Day-0 适配,方向是一致的:让模型从“能跑”走向“跑得起”。如果站点后续要接入自托管模型做内容摘要、客服问答等能力,可以先用小流量做灰度,观察延迟与成本后再决定是否扩容。相关许可证条款、硬件支持列表与版本变更,仍以官方仓库和公告为准。

    继续阅读

    📑 📅
    国产AI芯片市占率升至约41%,算力竞争转向拼效率 2026-10-21
    蚂蚁百灵Ling-3.1-flash开源:560B参数支持1M上下文 2026-10-21
    DeepSeek开源推理框架DeepInfer,单集群日吞吐155万亿Tokens 2026-10-21
    十月大模型融资密集:千亿资金涌向头部 2026-10-21
    国产大模型十月开源密集上新,记忆原生与扩散路线受关注 2026-10-21
    蚂蚁百灵开源Ling-3.1-flash:560B参数4卡可部署 2026-10-21
    10月国产大模型融资与开源齐热:千亿资金涌入头部 2026-10-21
    阶跃星辰Step 5 Preview开源:国产芯片实现首日适配 2026-10-21
    10月国产开源模型密集更新:记忆架构与长上下文成新看点 2026-10-21
    扩散语言模型公司DiffuSpace数亿融资,创全球同类纪录 2026-10-21