DeepSeek开源推理框架DeepInfer,兼容英伟达与昇腾

    发布时间:2026-10-27 00:28 更新时间:2026-10-27 00:28 阅读量:1

    十月国内大模型赛道消息密集,融资与模型发布轮番登场。在众多事件里,DeepSeek 的一次框架开源容易被模型新闻盖过:据公开报道,10 月 20 日 DeepSeek 开源了内部推理框架 DeepInfer,兼容英伟达与华为昇腾平台。对日常要跑模型服务的站长和运维来说,这类底层工具的变化,往往比参数规模更直接影响部署成本。

    这次开源的是什么

    按素材披露的信息,DeepInfer 是 DeepSeek 内部使用的推理框架,此次以开源形式对外释放,明确提到兼容英伟达与华为昇腾两类硬件平台。同一时间段内,DeepSeek 在 10 月 17 日发布并开源了 V4.1-Flash-1017 模型,据报道该模型在软件工程相关测试中得分超过 GPT-6 Astra 等模型;随后该模型以单周 33.6 万亿 Token 的调用量登顶全球榜首。框架与模型前后脚开源,说明这套推理链路已经在真实高并发场景下被跑过一轮。

    需要说明的是,素材没有给出 DeepInfer 的具体版本号、许可证类型、支持的推理精度和安装命令,这些细节以官方仓库与官方文档为准,不要照搬第三方转述的参数。

    对自建推理服务的实际意义

    推理框架处在模型与硬件之间,负责批处理调度、显存管理、算子调用这些脏活。它决定了两件事:一是同一张卡能同时扛多少并发,二是换硬件时要不要重写一整套服务代码。DeepInfer 同时点名英伟达与昇腾,意味着上层服务有机会在两类卡之间迁移,而不必把业务逻辑和某一家硬件绑死。对预算有限、又希望保留国产算力选项的中小站点,这是比较务实的方向。

    另外,DeepSeek 此次开源的模型主打 Flash 定位,报道中提到的高调用量也从侧面反映出低成本推理是当前的主流需求。框架层面的优化,最终会体现在单位 Token 的算力开销上。

    部署前先做这几步自查

    如果打算在自有服务器上试跑,建议先确认驱动与固件版本、显存容量、以及框架对操作系统和 Python 版本的要求。下面这组命令只用于核对本机环境,不涉及任何安装操作,具体版本要求请对照官方文档:

    # 查看 GPU 与驱动信息(英伟达平台)
    nvidia-smi
    
    

    查看昇腾设备信息(昇腾平台)

    npu-smi info

    核对系统与 Python 版本

    uname -a python3 --version

    查看显存与内存占用,评估可承载的并发

    free -h df -h

    核对完之后,再按官方仓库的说明准备依赖和权重文件。模型权重体积通常较大,下载前先确认磁盘余量,并尽量走内网镜像,避免把带宽打满影响线上业务。

    上线阶段还要注意三点:一是并发上限不要按峰值压满,留出余量应对突发流量;二是给推理服务单独划分资源,避免和 Web 服务抢内存;三是把日志和调用量统计接进现有监控,便于观察单次请求的耗时变化。素材中提到的单周 33.6 万亿 Token 属于平台侧的整体调用规模,普通站点不必以此为目标,按自身流量估算即可。

    总的来说,DeepInfer 开源的价值在于把一条经过大规模验证的推理链路开放出来,同时给国产算力留了位置。是否值得跟进,取决于你现有硬件栈和业务量,建议先在测试环境验证稳定性,再考虑迁移生产服务。

    继续阅读

    📑 📅
    深圳超球面科技成立两月获数亿元天使轮 2026-10-27
    十月国内AI融资观察:资本为何扎堆产业侧 2026-10-27
    面壁智能发布MiniCPM-V 4.7,端侧多模态再进一步 2026-10-27
    可灵AI引入阿里云等新股东,AI视频赛道资本再加码 2026-10-27
    Kimi K3.1 Pro 发布:3万亿参数开源模型登场 2026-10-27
    科大讯飞星火X2.6发布:全国产算力训练大模型落地 2026-10-28
    DeepSeek千亿融资落定,国产大模型算力竞赛升温 2026-10-28
    四川AI超市上线:170余种大模型按卡计费 2026-10-28
    DeepSeek开源推理框架DeepInfer,单集群吞吐155万亿Tokens/天 2026-10-28
    蚂蚁灵光2.0升级:AI助手从等指令转向主动管事务 2026-10-28