又一款值得关注的开源模型
10月25日,BOSS直聘旗下的Nanbeige LLM Lab在Hugging Face开源了Nanbeige4.3-33B模型,采用Apache 2.0许可证,同时放出的还有用于自定义后训练的Base版本。这是一款33B参数的稠密语言模型,主打智能体编程与办公协同任务,官方定位是”30B参数级别开源模型中的智能体性能标杆”。
对开发者来说,最值得记住的是三个规格数字:33B稠密参数(非MoE架构)、524,288 Token即512K的上下文窗口、BF16精度权重约66GB。这意味着一台多卡服务器即可完整部署,官方的SGLang与vLLM部署方案采用4路张量并行。
成绩单:智能体基准的横向对比
按照实验室自报的同评测框架对比数据,Nanbeige4.3-33B在与Qwen3.8-27B、Muse-Glimmer-30B、Gemma4-31B三个同量级开源模型的对比中,领先其中约18项基准。
几个关键成绩值得细看:
- 终端智能体基准Terminal-Bench 2.1:80.9分,对比Qwen3.8-27B的73.0分;
- 软件工程基准DeepSWE:65.5分,对比42.5分;
- 自动化办公基准Automation Bench:54.2分,对比38.3分;
- 职业任务基准JobBench:44.8分,官方称在35个职业门类中多数超过基线;
- 数学推理AIME 2026:95.2分,对比94.5分,差距接近。
需要客观指出的是:这不是全面碾压。SWE-Bench Pro上60.3分略低于对手的61.7分,推理类基准互有胜负;且所有成绩均为实验室自报,尚无独立复现。开源社区的使用习惯是:自报数据做初筛,自己的任务做终审。
教师模型:为蒸馏而生的定位
这款模型最特别的地方是它的定位——教师模型。官方策略是先打造强教师,再把智能体能力蒸馏进更小的模型,下一个目标是一款3B级小模型。对关注端侧与轻量化部署的开发者来说,这是个值得跟踪的信号:今天在服务器上跑的33B,明天可能就是你笔记本上跑的3B。
模型的技术细节也有几处看点:架构为标准Llama风格,52层,隐藏维度7168,56个查询头与8个KV头(分组查询注意力),词表约16.7万。聊天模板默认开启思考模式,并提供preserve_thinking开关——在多轮工具调用中保留此前的推理内容,官方特别推荐在智能体工作流中开启。工具调用支持XML与JSON两种格式,XML为推荐格式。
下载与部署:轻量上手的现实路径
模型权重托管在Hugging Face,Apache 2.0许可证允许商用。部署路径有三条:Transformers快速验证、SGLang与vLLM生产部署,官方示例均为4路张量并行。对多数开发者,推荐的上手顺序是:先读模型卡,再小规模验证提示词模板与工具调用格式,最后接入自己的智能体框架跑真实任务。
这里的现实问题也是开源圈的老话题:权重文件动辄数十GB,模型社区、代码仓库与文档站分布在不同区域,下载与访问的链路质量,直接决定”从下载到跑通”的耗时。
小飞鱼加速器:让开源上手轻快起来
主打轻量快速、即开即用的小飞鱼加速器,恰好补上这一环。对开源模型用户,它的价值很直接:
- 权重下载提速:66GB的BF16权重,稳定链路意味着下载时间以小时计的缩短,断点重传大幅减少;
- 社区访问顺畅:模型卡、数据集、代码仓库的浏览与拉取不再卡顿;
- 即开即用:客户端开启即生效,无需复杂配置,与开源工具链零冲突;
- 多端覆盖:桌面与移动端均可使用,下载任务挂机跑也不心疼。
给一个务实的建议:把”下载权重”和”部署验证”安排在同一条稳定链路上完成——先用小飞鱼加速器拉取权重,紧接着做小规模推理验证,中间不切换网络环境,排障变量最少。
哪些人适合现在上手
- 智能体应用开发者:512K上下文加默认思考模式,适合长流程工具调用任务;
- 私有化部署团队:Apache 2.0许可可商用,33B稠密架构的部署门槛清晰可控;
- 轻量化研究者:教师模型定位意味着后续3B版本值得提前跟进评测;
- 成本敏感项目方:开源权重自部署,推理成本可控,配合自报数据做任务级验证即可决策。
部署前自检清单
- 确认显存与卡数:BF16权重约66GB,按4路张量并行的官方方案准备多卡环境,量化版本可适当放宽;
- 确认推理框架版本:SGLang与vLLM更新较快,部署前对照模型卡锁定推荐版本;
- 确认工具调用格式:XML为推荐格式,提前在提示词模板中适配;
- 开启preserve_thinking:多轮工具调用场景务必开启,官方反复强调这一点;
- 准备自己的测试任务集:自报数据只能初筛,五个真实任务胜过五张榜单。
常见问题
显存不够怎么办?可以关注社区量化版本,或等待后续的3B蒸馏模型——教师模型的意义正在于此。
Apache 2.0能商用吗?可以,Apache 2.0是宽松许可证,商用与修改均有明确空间,具体以许可证全文为准。
和同量级闭源模型比呢?闭源旗舰在多项基准上仍有优势,开源模型的价值在于可控、可改、可私有化部署,两类选择并不冲突。
写在最后
开源模型生态的竞争已经从”谁参数大”进入”谁智能体能力强”的阶段。Nanbeige4.3-33B以教师模型切入,瞄准的是蒸馏与端侧的未来。对开发者而言,多一款可用的开源选择永远是好事——先把链路配稳、把权重下下来、跑通第一个工具调用任务,剩下的判断,交给自己的基准。