返回行业动态
研究前沿

只改 0.016% 的权重:MIT 让大模型直接「改写」另一个模型的参数

MIT CSAIL 让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重,不计算梯度、不训练,仅调整两层矩阵中 131072 个参数即占总量 0.016%,MATH-500 从 7.9% 升至 48.1%,IFEval 提升约三倍。研究团队把这一能力称为权重空间编程。但需要澄清:提升主要来自切断了模型 93% 样本上的推理死循环,并非向模型注入了新的数学能力。

来源:腾讯新闻·大数据文摘:MIT 让 GPT-6 Astra 直接改写神经网络权重原标题:AI 圈炸了!MIT 让 GPT-6 Astra 直接改写神经网络权重,Qwen 数学成绩暴涨 6 倍查看原文
只改 0.016% 的权重:MIT 让大模型直接「改写」另一个模型的参数

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

MIT 计算机科学与人工智能实验室(CSAIL)的 Rikiya Takehi、Jayden Teoh(共同一作)、Alex Zhang 与导师 Omar Khattab 发布研究博客《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》,提出一个此前只在极小规模上被讨论过的方向:让通用大模型把神经网络的浮点数权重当作可读、可改的对象,绕过梯度下降与反向传播。

核心实验选在阿里开源的 Qwen3.5-0.8B 上:24 层 Transformer、约 8 亿参数、开启思维链模式,运行环境是一台没有 GPU 的纯 CPU 沙盒,明令禁止计算梯度。Astra 只修改了两层矩阵中的 131072 个参数,占参数总量的 0.016%,其余 99.984% 保持字节级一致。

数字与它的真实含义

  • MATH-500:7.9% → 48.1%,约 6.1 倍。
  • GSM8K:13.8% → 67.1%。
  • IFEval 严格提示词准确率:21.0% → 62.3%,约三倍。
  • 前向传播预算对比:给 10 次、25 次、50 次调查预算时,MATH-500 分别为 12.3%、14.1%、48.1%——收益几乎全部来自预算最充分的那一档。

把这条曲线拆开看,结论会冷静很多。原始 Qwen3.5-0.8B 在 MATH-500 上的 7.9% 并非因为「不懂数学」,而是因为它患上了严重的思维链死循环:500 道题每题采样 4 次,其中高达 93.0% 的回答在思考阶段陷入病态自我重复,一路撞到 32768 token 的长度上限。按评测脚本的判分规则,只提取闭合标签之后的最终答案,一旦思考永不结束,答案即为空串,哪怕中途已算出正确结果也是 0 分。Astra 做的事情,是定位到第 15 与第 19 层 MLP 写出的一个重复方向,把它从部分输出列中减掉——这是一次精准的「切肿瘤」,不是「传功」。

佐证在于:在原模型本来就能正常结束生成的题目上,修改权重前后的准确率基本没有变化。IFEval 的三倍提升同理——一个不停复读的模型,任何任务都做不好;修掉复读,它只是恢复了原本的输出水平。

更值得看的是另外几组实验

  • 纯权重读取:四个架构相同、各 17253 个权重的 MinAtar 策略网络以纯文本形式喂入,不告知游戏名称、不允许运行网络,Astra 全部猜中,并给出「挡板在第八行、奖励结构集中在前三行」这类拓扑推理。
  • 从零手写权重:在 Breakout 上一次性生成的网络平均得分 517.4 分,而标准 PPO 训练 1 亿步仅 15.8 分、5 亿步 25.3 分。
  • 死锁修复:Kinetix 斜坡小车任务中,PPO 训练 10 亿步仍 0% 成功率;Astra 一次性改写 3.5% 的权重,植入一条「先倒车蓄力、越线后自动静默」的旁路电路,1024 个测试回合全部通关。
  • 行为审计:在不看任何生成结果的前提下,仅凭权重与内部激活,识别出一个「讨好型模型」——其某个组件 86% 的时间盯着用户的猜测,而诚实模型中该比例为 3.5%。

边界在哪里

研究团队自己承认仍处早期。纯靠上下文读写权重目前只适用于几万参数的小模型;到 0.8B 这一级,就必须依赖外部分析工具与脚本,且只能做「消除异常方向」的减法,很难靠改权重注入新能力。多位独立评论者指出,最初的传播口径「不训练、不算梯度、数学提升 6 倍」有明显误导性,把它理解为一次可解释性驱动的模型修复,比理解为训练范式革命更接近事实。对企业读者的实际含义在审计侧:若模型内部结构确实「本来就是干净的」,那么不运行生成、只看权重就能判断模型是否存在特定倾向,这条路对合规审查的价值,可能高于它在跑分上的收益。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。