用 Nemotron 把车库门做成会抱怨的怪物

2026 年 10 月 30 日，NVIDIA 的 Rick Grandy 与 Maryam Motamedi 在 Hugging Face 博客上发了一个不太像官方博客的项目：MonsterHouse。它是一套万圣节互动投影，把作者家的车库门做成一张会说话的木嘴，专门跟来讨糖的小孩斗嘴。

项目最有趣的地方不是「万圣节特效」，而是它把一整套语音 Agent 拆得很干净：谁负责听、谁负责想、谁负责说、谁负责让嘴动起来，各用一个模型，最后跑在一台工作站上。

MonsterHouse 是什么

• 它装在车库门上，用投影做出木板的裂缝、火焰和一张嘴。
• 它会听来敲门的人说话，用一个脾气很差的「老海盗船」人格回答。
• 如果访客说了「please」，它会明显软下来。
• 作者给它的设定是：这栋房子是用一艘沉船的木料盖的，所以抱怨都带着海上的怨气。

一套语音 Agent 被拆成了五件事

博客把链路写得很具体：

• 听：Nemotron 3 ASR 把访客的语音转成文字，用的是 nemotron-speech-streaming-en-0.6b 的 GGUF 量化版。
• 想：Nemotron 3.5 Bolt E4B 4GB 负责写每一句回复。它是一个面向对话 Agent 的开放小模型，人格由一个 LoRA adapter 提供。
• 说：Magpie TTS Zeroshot 用一小段角色参考音频，现场合成声音。
• 动：Audio2Face-3D 把干净的语音变成嘴部动画，再送进 Unreal Engine 5。
• 看：Nemotron 3 Nano Omni 描述访客的服装，YOLO 和 ByteTrack 负责计数与跟踪。

整套东西由 Nemotron Voice Agent 协调，硬件是一台工作站，里面有两张卡：RTX PRO 6000 Blackwell Max-Q 和 RTX PRO 4000 Blackwell。

模型本身是什么

Bolt E4B 4GB 的模型卡给了一些硬指标：

• 它是从 Gemma-4-E4B-it 继续后训练出来的小模型，总参数 8B，有效参数 4B。
• 上下文长度是输入和输出各 64K token。
• 许可证是 OpenMDW-1.1。
• 定位写得很明确：本地语音与设备助手、互动人格、嵌入式界面。

NVIDIA 的 Nemotron 开发者页则说，Nemotron 3 系列用混合 Mamba-Transformer MoE，支持 1M token 上下文。这两个数字放在一起看，能看出产品线的分工：Bolt 走本地低延迟，长上下文和更重的推理交给更大的型号。

真正值得学的地方

这个项目没有训练新模型，也没有自研语音栈。它的工作量主要在两处：

• 角色资产。作者在 Autodesk Maya 里做了 SkelMesh，再导入 Unreal Engine 加火焰和特效。这张脸没有眼睛、没有眉毛、也不会眨眼，反而更省。
• 把现成模型接成一条能实时跑的链路。作者的原话大意是：本来以为最难的部分，NVIDIA 把 Voice Agent 做出来了，于是变成了好玩的迭代。

对想做类似装置的人，这提供了一个可复制的分工：ASR、对话模型、TTS、口型动画、视觉描述各用专长模型，不要让一个多模态大模型包办全部。延迟和成本都会更好控制。

需要保留的地方

• 这是一个个人万圣节项目，不是 NVIDIA 的正式产品，也没有公开完整代码或部署脚本。
• 博客没有给出延迟、并发、语音自然度的量化数据，也没有第三方复现。
• 作者用的是高端工作站显卡，换到消费级设备上能不能跑顺，博客没有回答。
• 「会变软」是提示词与人格设定的效果，不是安全机制；别把这种互动装置直接套到需要严格边界的场景。

参考来源

本文基于以下公开报道整理：

• Building a Haunted House with NVIDIA Nemotron Open Models — Hugging Face 博客（NVIDIA），2026-10-30
• NVIDIA-Nemotron-3.5-Bolt-E4B-4GB — Hugging Face 模型卡
• Nemotron AI Models — NVIDIA 开发者页

本文由 AI 辅助整理，事实与引文来自 Hugging Face 博客、模型卡与 NVIDIA 开发者页；未复跑该项目，配图后续补充。