发布时间:2026-10-28 04:26 更新时间:2026-10-28 04:26 阅读量:1
10月20日,DeepSeek 开源了内部推理框架 DeepInfer,同时放出一套生产级 Token 编解码组件。据公开信息,这套框架兼容英伟达与华为昇腾两类算力平台,单集群吞吐可达 155 万亿 Tokens/天。就在三天前的 10 月 17 日,DeepSeek 刚发布并开源模型 V4.1-Flash-1017,官方披露其在软件工程测试 DeepSWE v1.1 中的得分超过 GPT-6 Astra、Claude Opus 5,单项任务平均费用较上一版下降约六成。模型与推理框架接连开源,把“降本”这条线索摆得很清楚。
按公开描述,DeepInfer 是 DeepSeek 内部使用的推理框架,此次对外开源;随附的 Token 编解码组件定位为生产级,也就是已在真实业务链路中跑过的部件,而不是演示代码。两者合并来看,覆盖的是从请求进入、Token 处理到推理执行的一段链路。
对多数站长来说,直接读源码的门槛不低,更现实的问题是:这类框架开源后,能否用在自己那台带 GPU 的服务器上,把 API 调用的账单压下来。素材给出的关键信息是“兼容英伟达与华为昇腾平台”和“单集群吞吐 155 万亿 Tokens/天”。前者说明异构适配是设计目标之一,后者是大规模集群下的吞吐指标,具体测试条件、硬件配置与版本对应关系,需以官方仓库说明和实际环境为准。
过去一年国内算力侧的变化很明显。据 IDC 数据,2026 年上半年英伟达在中国数据中心 AI 芯片市场的份额降至 34%,中国 AI 加速器总出货 200.8 万颗,其中非 GPU 芯片 101.6 万颗,首次超过 GPU 的 99.1 万颗;华为昇腾出货 57.2 万颗、份额 28%。推理侧更看重每 Token 成本而非单卡峰值,这正是国产芯片切入的窗口。
框架层同时兼容英伟达与昇腾,意味着同一套推理服务有机会在不同芯片的机器上跑起来,减少“换卡就重写一遍”的重复适配。对中小站点而言,这决定了以后扩容时是只能跟着一种卡走,还是能在预算内挑更合适的算力。
短期不必急着把线上服务切过去。更稳妥的做法是先在测试机上跑通部署,观察显存占用、并发下的响应时间与稳定性,再决定是否承接部分流量。部署前建议先确认驱动、CUDA 或昇腾 CANN 版本与框架要求的对应关系,具体以官方文档为准;同时保留原 API 通道作为兜底,避免单点故障。
# 部署前的基础环境自查(示例,具体命令以官方仓库说明为准)
nvidia-smi # 查看 GPU 型号、驱动与显存占用
npu-smi info # 昇腾平台查看芯片与固件信息
python3 --version # 确认 Python 版本满足框架要求
free -h # 查看内存余量,推理服务对内存同样敏感
df -h / # 确认模型权重存放分区空间充足
如果自建推理,建议把模型权重、日志与缓存分盘存放,并对服务做进程守护和健康检查;对外提供接口时限制单请求上下文长度与并发数,防止个别长请求拖垮整机。至于吞吐能到多少,取决于卡型、模型规模与批处理策略,网上流传的数字只能当参考。
把这次开源放回 10 月的时间线看:10 月 17 日开源模型,10 月 20 日开源推理框架,10 月 22 日至 23 日约 1000 亿元融资落定,资金用途包括模型训练、算力建设与人才招募。模型、框架、算力三件事被串在一起推进,推理成本还有继续下探的空间。对运维人员来说,值得做的是保持关注、小范围验证,而不是一次性押注。
| 📑 | 📅 |
|---|---|
| 四川AI超市上线:170余种大模型按卡计费 | 2026-10-28 |
| DeepSeek千亿融资落定,国产大模型算力竞赛升温 | 2026-10-28 |
| 科大讯飞星火X2.6发布:全国产算力训练大模型落地 | 2026-10-28 |
| DeepSeek开源推理框架DeepInfer,兼容英伟达与昇腾 | 2026-10-27 |
| 深圳超球面科技成立两月获数亿元天使轮 | 2026-10-27 |
| 蚂蚁灵光2.0升级:AI助手从等指令转向主动管事务 | 2026-10-28 |
| 可灵AI获阿里云等入股,注册资本增至8744.7万元 | 2026-10-28 |
| 十月国产大模型开源潮:Kimi K3.1 Pro与星火X2.6 | 2026-10-28 |
| DeepSeek千亿融资传闻刷屏,站长该看懂什么 | 2026-10-28 |
| 国产AI芯片份额升至41%,推理芯片出货首超GPU | 2026-10-28 |