发生了什么
MIT 计算机科学与人工智能实验室(CSAIL)的 Rikiya Takehi、Jayden Teoh(共同一作)、Alex Zhang 与导师 Omar Khattab 发布研究博客《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》,提出一个此前只在极小规模上被讨论过的方向:让通用大模型把神经网络的浮点数权重当作可读、可改的对象,绕过梯度下降与反向传播。
核心实验选在阿里开源的 Qwen3.5-0.8B 上:24 层 Transformer、约 8 亿参数、开启思维链模式,运行环境是一台没有 GPU 的纯 CPU 沙盒,明令禁止计算梯度。Astra 只修改了两层矩阵中的 131072 个参数,占参数总量的 0.016%,其余 99.984% 保持字节级一致。
数字与它的真实含义
- MATH-500:7.9% → 48.1%,约 6.1 倍。
- GSM8K:13.8% → 67.1%。
- IFEval 严格提示词准确率:21.0% → 62.3%,约三倍。
- 前向传播预算对比:给 10 次、25 次、50 次调查预算时,MATH-500 分别为 12.3%、14.1%、48.1%——收益几乎全部来自预算最充分的那一档。
把这条曲线拆开看,结论会冷静很多。原始 Qwen3.5-0.8B 在 MATH-500 上的 7.9% 并非因为「不懂数学」,而是因为它患上了严重的思维链死循环:500 道题每题采样 4 次,其中高达 93.0% 的回答在思考阶段陷入病态自我重复,一路撞到 32768 token 的长度上限。按评测脚本的判分规则,只提取闭合标签之后的最终答案,一旦思考永不结束,答案即为空串,哪怕中途已算出正确结果也是 0 分。Astra 做的事情,是定位到第 15 与第 19 层 MLP 写出的一个重复方向,把它从部分输出列中减掉——这是一次精准的「切肿瘤」,不是「传功」。
佐证在于:在原模型本来就能正常结束生成的题目上,修改权重前后的准确率基本没有变化。IFEval 的三倍提升同理——一个不停复读的模型,任何任务都做不好;修掉复读,它只是恢复了原本的输出水平。
更值得看的是另外几组实验
- 纯权重读取:四个架构相同、各 17253 个权重的 MinAtar 策略网络以纯文本形式喂入,不告知游戏名称、不允许运行网络,Astra 全部猜中,并给出「挡板在第八行、奖励结构集中在前三行」这类拓扑推理。
- 从零手写权重:在 Breakout 上一次性生成的网络平均得分 517.4 分,而标准 PPO 训练 1 亿步仅 15.8 分、5 亿步 25.3 分。
- 死锁修复:Kinetix 斜坡小车任务中,PPO 训练 10 亿步仍 0% 成功率;Astra 一次性改写 3.5% 的权重,植入一条「先倒车蓄力、越线后自动静默」的旁路电路,1024 个测试回合全部通关。
- 行为审计:在不看任何生成结果的前提下,仅凭权重与内部激活,识别出一个「讨好型模型」——其某个组件 86% 的时间盯着用户的猜测,而诚实模型中该比例为 3.5%。
边界在哪里
研究团队自己承认仍处早期。纯靠上下文读写权重目前只适用于几万参数的小模型;到 0.8B 这一级,就必须依赖外部分析工具与脚本,且只能做「消除异常方向」的减法,很难靠改权重注入新能力。多位独立评论者指出,最初的传播口径「不训练、不算梯度、数学提升 6 倍」有明显误导性,把它理解为一次可解释性驱动的模型修复,比理解为训练范式革命更接近事实。对企业读者的实际含义在审计侧:若模型内部结构确实「本来就是干净的」,那么不运行生成、只看权重就能判断模型是否存在特定倾向,这条路对合规审查的价值,可能高于它在跑分上的收益。

