Astra 直接读写权重：不训练，改好 Qwen

2026 年 11 月 2 日，MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 发布博客文章，提出一个叫「权重空间编程」（Weight-Space Programming）的做法：让一个通用大模型直接读写神经网络的权重，不经过优化器，也不做梯度下降。这篇文章在 Hacker News 上拿到 2248 分。

三件事被做了出来

• 读：把一个小策略网络的原始权重当文本喂给 Astra，问它这个网络被训练来玩哪个游戏。网络的输入输出维度完全相同，它仍把四个网络全部答对。
• 写：不给任何环境反馈，让它从头写出能玩的网络——文中称写出的网络能打赢用 PPO 训练了一亿步的版本。
• 改：让它直接编辑权重，修掉已经存在的失败行为。

作者的说法是，模型先推理出网络各部分「在算什么、应该算什么」，再据此改数，全程不允许它写训练循环。

关键数字

• 修一个卡住的策略网络：Astra 一次性编辑了 3.5% 的权重，成功率从 0% 变成 100%。
• 让 Qwen3.5-0.8B 更会做数学：不训练、只用编辑，MATH-500 从 7.9% 升到 48.1%，GSM8K 从 13.8% 升到 67.1%，IFEval 从 21.0% 升到 62.3%。
• 实验里的编辑只动了 131,072 个权重，占该模型 0.8 billion 个权重的 0.016%。
• 原文同时记了一个反例：对很少陷入循环的 Gemma 3 270M，同样的做法几乎无效——它能移除遮挡能力的东西，但加不出原本没有的能力。

作者放出了什么

• 作者把每次实验的完整日志放上 GitHub，包括发给模型的提示、模型返回的内容、跑过的代码与它看到的输出；被编辑过的 Qwen3.5-0.8B 也放上 Hugging Face 并提供在线演示。
• 同一天还有一份独立进展：研究者 Chandan Singh 发布报告，用编码智能体在已知算法的小任务上「手写」权重，十个算法任务都在三次尝试内达到 100% 准确率，并逐权重画出可读结构。这属于同一方向上的独立尝试，不是对上述实验的复跑。

怎么读

• 这是一篇博客文章，作者自己给的引用格式写的也是 Blog post，未经同行评审；文中明确说结果「仍然有限」，瓶颈在上下文长度与 harness。
• 「权重空间编程」目前没有一个公开的基准或统一测定口径，作者说正在做。
• 0.016% 这个比例针对 Qwen3.5-0.8B 的这一次编辑，不代表同类做法在别的模型上都成立。

还没验证的部分

• 所有数字来自作者博客与作者自己放出的日志，本文没有复跑任何实验。
• 「打赢训练一亿步的网络」是作者在其设定下的结论，换环境未必成立。
• 讨论区里有从事权重空间学习的研究者提出质疑，认为博客与传播把结果说得偏重；这属于评论意见，本文未据此改写作者给出的数字。
• Chandan Singh 的报告自述是快速整理的项目笔记，同样未经同行评审。

参考来源

本文基于以下公开报道整理：

• Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights — Rikiya Takehi 等，2026-11-02
• lm_understand-logs — 作者放出的逐次实验日志
• Weight-Space Programming from scratch on simple tasks — Chandan Singh 的独立报告，2026-11-02
• Astra can read and write weights to improve Qwen — Hacker News 条目

本文由 AI 辅助整理，事实与引文来自作者博客、其公开实验日志与 Chandan Singh 的独立报告；未独立复跑实验，配图后续补充。