0.8B 的端侧助手：BotPsy 把工具调用压进手机

2026 年 11 月 11 日，Tether AI Research 在 Hugging Face 发布 BotPsy：一个 0.8B 参数、基于 Qwen3.5-0.8B 的「个人助理」模型。它的目标不是聊天，而是函数调用——理解用户意图，判断该调用哪个工具、填什么参数，必要时连续调用多个工具完成任务。权重以 Apache 2.0 开放，同时提供 bf16、Q8 和 Q4 的 GGUF，可以直接进 llama.cpp 一类端侧运行时。

为什么是端侧

• 云端前沿模型的成本高，而且供应商可以修改、拒绝或下线访问；对需要长期稳定的个人工作流来说，这是外部风险。
• 隐私与数据控制：个人日程、邮件、文件、位置这些上下文，留在本地更放心。
• 不是所有任务都需要前沿智能。例行的小任务，小模型够用，而且更便宜、延迟更低。
• 作者的判断是「每参数智能」还在快速提升，专用小模型会在特定任务上追平大模型。

基准：赢在同类，但别读过头

BotPsy 在六个工具调用与智能体基准上，与不超过 1.2B 参数的同侪比较：

• BFCL v4：从基础模型的 23.4 提升到 44.0
• ACEBench：从 30.1 提升到 58.7
• τ-bench：从 23.2 提升到 51.5
• 六项里五项超过参数量为它 2.5 倍的 Qwen3.5-2B-Think；只有 Claw-Eval 落后（48.9 对 46.5）
• 多轮任务提升更明显：BFCL v4 多轮从 7.5 升到 46.1，τ²-bench 电信场景 82.5
• 指令遵循：IFEval 从 59.7 升到 90.8，IFBench 从 22.0 升到 55.9
• 安全：自动红队测试中不安全回答率 21%，基础模型是 36%；提示注入攻击下从 46% 降到 31%
• 效率：GPQA Diamond 上正确回答的推理 token 是 3,690，基础模型是 11,563；卡进重复推理循环的比例从 22.9% 降到 1.4%

这些数字都来自发布方自己的评测，评测在 2026 年 11 月 3 日跑，细节写在博客的脚注里。我们没有独立复现，也没有在本地跑过这套基准，所以只能把它们当作厂商声明，而不是第三方结论。

训练配方：四个阶段，三种信号

这部分是发布页里最有复用价值的内容：

• 第一阶段，监督微调（SFT）：用工具调用对话做全参数微调，数据包括模拟环境里的多轮轨迹、单次与并行调用、多步调用，以及「不该调用工具」的样本。
• 第二阶段，多教师在线蒸馏（MOPD）：学生自己生成回答，三个专门微调过的 Qwen3.5-4B 教师逐 token 给反馈，用 reverse KL 做信号。这一步主要把 SFT 阶段掉下去的知识和指令遵循拉回来。
• 第三、四阶段，两轮强化学习：用 DAPO，只从规则和验证器算奖励。第一轮聚焦工具调用，奖励先检查推理与调用格式，再按工具名、参数名、参数值给细粒度部分分；第二轮扩大到底层可验证任务：数学、代码、知识选择题、指令遵循、结构化输出和多步工具使用。

一个值得注意的取舍：第二轮训练数据里没有多轮对话，但多轮函数调用反而提升了。作者没有解释原因，这属于经验结果。

本地跑起来要注意什么

模型卡给了两个关键设置：

• 打开思考模式。BotPsy 的训练和评测都在 thinking 模式下进行，但聊天模板默认关闭，需要显式传 enable_thinking=True。
• 采样参数：temperature=0.3、top_p=0.95、top_k=20、presence_penalty=1.5，最多生成 32,768 个新 token。前三项在 generation_config.json 里，presence penalty 需要在 vLLM 或 llama.cpp 侧设置。

部署路径有三条：

• Transformers：需要支持 Qwen3.5 的版本（模型卡说测试于 5.19.0）；想要更快的 Gated DeltaNet 内核，还要装 flash-linear-attention 与 causal-conv1d。
• vLLM：启动时用 enable-auto-tool-choice、qwen3_xml 工具调用解析器和 qwen3 推理解析器。
• llama.cpp 或 QVAC SDK：直接用 GGUF 仓库里的 bf16、Q8_0 或 Q4_K_M 文件。

给第一次上手的人一个务实的顺序：

• 先用 Q4 量化在手机或笔记本上跑通一次单工具调用，确认模板和解析器对得上。
• 再用你自己的三五个工具写一组小测试，覆盖「该调用」「不该调用」「参数缺失」三种情况。
• 最后再试多步任务。它的强项是多轮和工具链，但开放搜索是弱项，别一上来就让它做深度研究。

短板写得比优点更清楚

发布页没有藏弱点：

• BrowseComp-Plus 只有 4.5，虽然是五个模型里最高，但绝对值很低；BFCL 的 web search 是 14.0、memory 是 16.3，都落后于 2B 的 Qwen3.5-2B-Think。
• 低资源语言明显弱：Hindi 24.5、Russian 57.6，远低于英语、中文、法语、西班牙语等。
• 多轮指令会随轮次累积而下降：第一轮 84.3，第三轮 51.0。
• τ³-bench 的银行场景，所有模型都低于 5 分。
• 官方定位是低到中等难度任务，不适用于安全关键、高风险自动决策，也不适合涉及金钱、个人信息、健康等敏感场景。

它适合谁

如果你想要一个完全在本地的「工具调度器」——读日历、查天气、开关设备、整理文件、发消息——BotPsy 这个尺寸和许可都值得试。它不是知识模型，遇到不知道的事实应该调用工具而不是硬答；它也不是通用大模型的替代品。把它放在正确的任务层级上，0.8B 的性价比才有意义。

本文基于以下公开报道整理。

参考来源

• BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model — Hugging Face Blog（2026-11-11）
• BotPsy-0.8B 模型卡 — Hugging Face（2026-11-10）
• BotPsy-0.8B-GGUFs 量化权重仓库 — Hugging Face（2026-11-10）

本文由 AI 辅助整理，事实来自上述 Hugging Face 博客与模型卡公开的标题、摘要、基准表和部署说明；基准为发布方自测，我们未独立复现，也未在本地实际运行该模型。