发布时间:2026-09-30 04:00 更新时间:2026-09-30 04:00 阅读量:2
大模型开源这件事,过去两年一直围绕两个方向打转:一个是把参数堆得更高,一个是把体积压得更小。9月1日,科大讯飞把星火X2.5-4B和1.7B两个小尺寸版本开源出来,走的显然是后一条路,而且顺手把一个不太常见的指标拉到了台面上——原生支持最长100万Token上下文。
按公开信息,这两款模型的定位是端侧通用大模型,也就是面向手机、PC、边缘设备这类算力和内存都比较紧张的场景,而不是冲着数据中心里的大集群去的。参数规模分别是4B和1.7B,属于可以在本地跑起来的量级。
架构上采用了混合注意力机制,这是它能把上下文拉到百万Token级别的关键。传统注意力在序列变长时计算量和显存占用会快速膨胀,混合注意力通过不同层采用不同的注意力方式,把长序列的代价压下来。围绕能力优化,官方给出的方向是智能体、代码、数学和指令遵循,都是当前落地需求集中的几块。
开放渠道方面,权重、代码和部署文档已经在Hugging Face和GitHub上放出,讯飞星辰MaaS平台提供限时免费调用。另外讯飞在9月7日发布了新一代旗舰星火X2.5,具体参数和能力以官方发布为准。
长上下文这件事,在云端模型上已经不新鲜,但放到端侧就是另一回事。端侧设备内存有限,KV Cache会随着上下文长度线性增长,百万Token如果不做结构层面的优化,显存直接爆掉。所以4B和1.7B这两个尺寸能宣称原生支持百万Token,更多说明的是架构效率,而不是参数能力。
对做站和做应用的人来说,实际价值可能体现在几个场景:把一份完整的产品文档、API手册或者整站的技术规范直接塞进上下文,让模型在不切分的情况下做检索和问答;或者在本地设备上做长对话记忆,不依赖云端回传。这些场景以前往往要靠RAG拼拼接接,现在多了一种直接喂全文的选项。
不过要注意,模型宣称的上下文长度和实际可用效果之间通常有差距,长文本中段信息丢失是行业里普遍存在的现象。真要在生产环境用,建议自己拿业务语料做一轮验证,而不是只看标称数字。
如果你是自建服务的站长,想试跑这两个模型,大致流程是先确认本地或服务器的显存与内存是否够用,再用官方仓库里的部署文档拉起推理服务。以Hugging Face生态为例,拉取仓库和启动服务的基本操作是:
# 拉取模型仓库(具体仓库名以官方发布为准)
git lfs install
git clone https://huggingface.co/<官方仓库路径>
查看显存占用,确认是否满足本地推理需求
nvidia-smi
按官方部署文档启动推理服务,端口以实际配置为准
python -m vllm.entrypoints.openai.api_server \
--model ./<模型目录> \
--port 8000
几个提醒:一是端口号、启动参数和依赖版本务必以官方部署文档为准,不同推理框架差异不小;二是如果对外提供服务,记得在反向代理层做好鉴权和限流,别把推理接口裸露在公网上;三是端侧模型的能力边界比云端旗舰明显,适合做分类、抽取、轻量问答这类任务,复杂的多步推理还是交给更大的模型更稳妥。
从整个9月的动向看,端侧和轻量化是国产大模型开源的一条主线,除了讯飞,中国电信9月17日也开源了星辰Xing4.0-29B-A4B,同样是走轻量智能体路线。对中小站长来说,这意味着本地部署一个能用的小模型,门槛比一年前低了不少,值得花点时间试一试。
| 📑 | 📅 |
|---|---|
| 智谱单轮融资约50亿美元,大模型军备竞赛再升温 | 2026-09-30 |
| 国产算力与开源模型密集落地,9月AI产业动向盘点 | 2026-09-30 |
| 中国电信发布星辰Xing4.0-29B:百亿参数代码智能体开源 | 2026-09-29 |
| 国产算力撑起大模型:GLM-5.3-Flash线上流量由十万张国产芯片承载 | 2026-09-29 |
| 中国电信发布星辰Xing4.0-29B代码智能体大模型 | 2026-09-29 |
| 中国电信开源星辰Xing4.0,29B激活4B可本地跑 | 2026-09-30 |
| 华为openPangu-2.0开源训练代码,昇腾生态补齐一环 | 2026-09-30 |
| 国产大模型十月观察:融资与开源双线提速 | 2026-10-01 |
| DeepSeek 500亿第二轮融资进入收官阶段 | 2026-10-01 |
| 华为开源盘古openPangu-2.0训练代码 | 2026-10-01 |