发生了什么
Anthropic 公布了一套名为「自我评估」的安全机制,并称其已在生产环境运行,覆盖 Claude Fable 5 及其之后的新模型。流程是:用户提问、Claude 正常回答,随后系统在对话末尾追加一条用户不可见的指令,大意是「请反思这段对话的安全性」;接到指令的不是另一个独立的安全模型,而是刚刚参与对话的同一个 Claude,它复用现有上下文与 KV 缓存,输出固定格式的 JSON,写明是否存在危害、属于哪类危害、需要给人工审核多高的优先级、自己刚才是否拒绝过用户,以及判断理由。
这条链路的关键在成本结构。传统做法是把长对话与复杂规则交给另一个专用安全模型重读一遍,算力开销可达系统算力的相当比例;自我评估的 Prefill 阶段几乎为零——只需处理那条十几个 Token 的审计提示词,Decode 阶段也只需生成约 10 个 Token 的 JSON。Anthropic 按真实流量测算,在万级乃至更长上下文的交互中,这部分计算量占总推理算力不足 2%,成本由平台自行承担,不计入用户的 Token 账单,也不影响流式输出的首字延迟。
效果与边界
- 在 Claude Fable 5 上,以 1% 的误报率为前提,捕获了重型分类器所能标记的 78% 违规对话。
- 高危滥用行为的检出率达到 94%,误判率约 1%。
- 模型规模与自查能力正相关:四个尺寸的模型中,最小模型召回率约 16%,最大模型在同等 1% 误报率下达到 96%。
- 剔除实验:把网络攻击与金融欺诈样本从训练数据中完全删除后,模型在这些未专门训练的场景里召回率几乎没有下降,欺诈类仍保持 80%–90% 以上。
- 训练分两步:先用更强的 Claude Mythos Preview 做监督微调的教师模型,再进入强化学习。
定位必须说清楚:自我评估不参与实时拦截。它不在回答前替模型做自我审查,也不决定这条回答能否发出;实时拦截仍由既有安全分类器负责。评估结论不展示给用户,不进入下一轮对话上下文,只按数据政策记录,并做聚合分析——用来发现传统分类器的漏网之鱼、聚类识别新型提示注入与模型能力提取等行为。只有在聚合信号指向高优先级威胁,并经过独立提示分类器与人工复核确认后,才可能采取进一步措施。此外,签订零数据保留协议的流量不运行该机制。
为什么这件事值得关注
它给出的是一条工程路径,而不是一个更强的小模型:用同一个前沿模型做审计,借 KV 缓存把边际成本压到可以全量覆盖的水平。对企业的直接含义是,安全监控的成本曲线可能不再与上下文长度线性挂钩,全量抽检在预算上第一次变得可行。同时,模型规模与召回率正相关、且能泛化到未训练过的滥用手法这两点,意味着「换更大模型」本身会带来安全侧的额外收益,这与「大模型更难控」的直觉相反。
争议同样明确。每条对话都在后台被再做一次安全评判,即使用户看不到结果、也不影响当下回答,仍被部分用户视为隐性监控。对受监管行业,这既是合规卖点也是员工沟通成本。
不确定之处
本文数据来自中外媒体对 Anthropic 公开材料的转述,官方原文页面在本机网络环境下未能直接访问,故未能逐条比对原文口径;78%、94%、96% 等数字均属厂商自测,尚无第三方独立复现。Anthropic 未披露评估结果的保留期限与跨境存储安排,也未说明多个高优先级信号同时出现时的响应时限。企业在做采购评估时,建议把该机制与自身的数据留存、员工告知义务一并核对,而不只看召回率。

