DeepSeek开源推理框架DeepInfer,兼容昇腾

    发布时间:2026-10-28 08:37 更新时间:2026-10-28 08:37 阅读量:0

    十月的DeepSeek几乎每周都有新动作。除了市场上流传的融资消息,这家公司在技术侧连续放出两个开源项目:10月17日的模型V4.1-Flash-1017,以及10月20日的推理框架DeepInfer。对关注自建推理服务的站长和运维来说,后者的意义可能更大——它决定了模型能不能在自己手里的机器上跑得动、跑得省。

    模型侧:V4.1-Flash-1017主打软件工程与成本

    据公开报道,V4.1-Flash-1017在软件工程能力测试DeepSWE v1.1中得分超过GPT-6 Astra、Claude Opus 5等模型,单项任务的平均费用相比上一版下降约六成。这组信息的看点不只是分数,而是“单项任务费用下降”这一项:对需要批量调用模型完成代码生成、脚本补全的团队来说,成本曲线往往比榜单排名更能决定是否接入。

    需要提醒的是,第三方测试分数会随题目集、评测方法和版本更新而变化,具体能力请以官方模型卡和实际业务场景的验证结果为准,不宜直接拿单一榜单下结论。

    框架侧:DeepInfer同时兼容英伟达与昇腾

    10月20日开源的DeepInfer是DeepSeek内部使用的推理框架,同时放出了生产级Token编解码组件。报道提到两个关键信息:一是兼容英伟达与华为昇腾两个平台;二是单一集群的服务吞吐达到155万亿Tokens/天。前者意味着同一套推理栈有机会跨两种硬件复用,后者反映的是大规模集群下的工程调优水平,普通站点当然用不到这个量级,但可以从中了解框架的设计取向——面向高吞吐、长稳运行的生产环境,而不是单机演示。

    对中小规模的部署者,更现实的做法是先在测试环境里跑通推理链路,再逐步压测。以容器方式拉起服务后,可以用简单的压测脚本观察并发与显存占用:

    # 示例:以容器方式启动推理服务并做基础连通性验证
    

    镜像名称、端口与启动参数请以官方仓库说明为准

    docker run --gpus all -p 8000:8000 \ --name deepinfer-demo \ -v /data/models:/models \ <deepinfer-image> \ --model-path /models/<model-dir>

    服务就绪后验证接口是否可访问

    curl -s http://127.0.0.1:8000/health

    简单并发压测,观察吞吐与延迟

    ab -n 200 -c 10 http://127.0.0.1:8000/health

    上面的命令只演示流程骨架,镜像名、端口和参数在不同版本间会调整,务必对照官方仓库的说明执行,不要直接照搬到生产环境。压测阶段建议先限制并发,关注显存峰值和请求排队情况,再决定是否扩容。

    算力去向:国产芯片适配是长期变量

    与框架开源同步,报道还提到DeepSeek计划向华为订购大量昇腾系列AI加速芯片用于建设数据中心,算力布局加速向国产芯片迁移。结合DeepInfer对昇腾的兼容,可以看出这不是单点动作,而是“框架适配—硬件采购—集群建设”一条链上的推进。对运维人员来说,值得提前关注的是驱动、固件与框架版本之间的匹配关系,这类跨平台栈的版本兼容问题,往往比模型本身更容易在部署阶段卡住。具体支持矩阵请以官方文档和实际环境验证为准。

    至于融资规模、估值与上市安排,目前多为市场消息,报道时尚未官宣,最终金额与用途需以公司公告为准。技术侧已经落地的,是模型、框架和芯片适配这三件事;对普通站长而言,先把推理链路的成本与稳定性算清楚,比追逐传闻更有价值。

    继续阅读

    📑 📅
    千亿融资传闻背后:国产算力与大模型的十月变局 2026-10-28
    10月国产开源大模型密集上新:Kimi、讯飞、MiniMax同周发力 2026-10-28
    可灵AI获阿里云与北京AI产投基金入股 2026-10-28
    75亿元人工智能基金落地,产业资本加速布局 2026-10-28
    四川AI超市落地成都:算力按卡计费,综合成本降四成 2026-10-28
    可灵AI引入阿里云等新股东,注册资本增至8744.7万元 2026-10-28
    国产AI芯片三季度业绩兑现,推理成主战场 2026-10-28
    超球面科技成立两月获数亿元天使轮 2026-10-28
    算力网入列国家重大工程,国产芯片份额首破四成 2026-10-28
    科大讯飞星火X2.6发布:国产算力上跑通训练与智能体 2026-10-28