商汤开源9B模型,小参数跑出大模型水平

    发布时间:2026-11-04 04:00 更新时间:2026-11-04 04:00 阅读量:3

    10月30日,商汤开源了SenseNova Loop-9B-Preview,模型权重已在GitHub和Hugging Face放出。这款模型的看点不在参数规模,而在于它用9B参数做出了接近27B模型的水平,给预算和显存都有限的团队提供了一个新的选择。

    循环计算:把深度“用多次”而不是“堆更多层”

    SenseNova Loop-9B-Preview采用Looped Transformer架构,核心思路是让模型在内部循环执行同一套计算模块,通过重复计算来扩展有效计算深度。传统做法是加层数、加参数,显存和推理成本跟着水涨船高;循环计算的思路是把已有的计算能力多跑几轮,参数规模不必同步膨胀。对部署方来说,这意味着模型体积更可控,显存占用和加载时间都更容易预估。

    据公开信息,该模型在WorkBuddy Bench、RaccoonPPT Bench、AutomationBench等评测中超过Qwen3.5-27B。需要说明的是,评测结果与具体测试环境、提示词构造有关,实际表现请以官方发布的评测说明和自己在业务数据上的实测为准,不建议直接拿榜单名次当作选型依据。

    小参数模型正在成为开源主线

    把这次开源放到近两个月的节奏里看,方向会更清楚。科大讯飞开源了星火X2.5-4B/1.7B端侧模型,原生支持100万Token上下文;面壁智能联合OpenBMB开源MiniCPM5-2B,在34项基准上平均成绩超过4B档较优水平;阿里Qwen3.8-Max首次开放权重,Qwen3.8-Flash价格低至1元/百万词元。开源迭代节奏从过去的半年压缩到一两个月,厂商比拼的重点也从“参数规模”转向“智能密度”和单位成本。

    对站长和运维人员来说,这个变化很实际:过去想跑一个能用的模型,动辄需要多卡;现在9B、4B甚至2B级别的开源模型,在单卡或少量显卡上就有落地空间,私有化部署的门槛明显降低。

    部署前先摸清显存和推理框架

    开源权重拿到手,第一步不是急着上业务,而是先在一台测试机上把推理跑通。以常见的Transformers加载方式为例,可以先确认模型能否正常加载、显存峰值是多少:

    python -c "
    import torch
    from transformers import AutoModelForCausalLM, AutoTokenizer
    name = 'SenseNova/Loop-9B-Preview'
    tok = AutoTokenizer.from_pretrained(name, trust_remote_code=True)
    model = AutoModelForCausalLM.from_pretrained(
        name, torch_dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)
    print('loaded, dtype =', next(model.parameters()).dtype)
    print('cuda mem (GB) =', round(torch.cuda.max_memory_allocated()/10243, 2))
    "

    上面这段脚本只做加载和显存统计,模型名称与加载参数请以官方仓库说明为准。跑通之后再接vLLM、SGLang这类推理服务框架做并发压测,观察首Token延迟和吞吐,才能判断它是否适合你的业务场景。如果模型依赖自定义代码,记得开启trust_remote_code前先审查仓库代码,避免在生产环境引入不必要的风险。

    选型上还有两点值得提醒。一是小参数模型在长文档理解、复杂多步推理上的上限通常不如大模型,适合放在客服问答、内容初稿、表单抽取这类任务上;二是开源协议各家不同,商用前要逐条核对许可条款。至于SenseNova Loop-9B-Preview后续是否会有更大参数版本或工具链更新,以商汤官方公告和仓库发布记录为准。

    继续阅读

    📑 📅
    11月初国内大模型融资与开源双线提速 2026-11-04
    字节豆包大模型1.8发布,AI手机助手同时上线 2026-11-03
    MiniMax开源M2文本大模型,激活10B跻身测评前五 2026-11-03
    蚂蚁百灵开源18款大模型,万亿参数Ling-1T进入2.0 2026-11-03
    讯飞星火X2.5端侧小模型开源,支持百万级上下文 2026-11-03
    苹果智能接入千问,12月随iOS正式版推送 2026-11-04
    腾讯WorkBuddy落地武汉,办公智能体进政务校园 2026-11-04
    蚂蚁AI产品矩阵亮相乌镇,健康与生活服务成焦点 2026-11-04
    iOS 27.3前夜:苹果与阿里千问合作进入推送倒计时 2026-11-04
    快手可灵AI完成198亿元增资交割 2026-11-04