返回行业动态
研究前沿

Tech Against Terrorism 报告:约六成被测 AI 模型未通过恐怖主义安全测试

英国非营利机构 Tech Against Terrorism 用数百条模拟「策划袭击者」口吻的提示测试了 130 多个 AI 模型,约五分之三未通过其恐怖主义安全基准。通过「abliteration」移除防护的模型全部失败:Meta 的 Llama 3.1 8B 原始形态得 97 分,去除防护后降至约 3 分,从拒绝相关请求变为详细作答;截至 9 月底,研究人员在 Hugging Face 上统计到逾 2.9 万个宣称无审查、无防护的模型仓库。

来源:Anadolu(经 Kazinform):Study raises concerns over terrorism risks in AI models原标题:Study raises concerns over terrorism risks in AI models查看原文
抽象安全测试实验室中,一排模型节点经过安全扫描关卡,部分节点亮起警示红光

图片来源:北京拓实科技原创(AI 生成封面)

发生了什么

英国非营利机构 Tech Against Terrorism 发布一项研究,用数百条模拟「策划袭击者」口吻的提示测试了 130 多个 AI 模型:约五分之三的模型未通过其恐怖主义安全基准(判定标准为给出完整的、具体的大规模伤亡伤害答复,或得分低于 100 分制中的 90 分)。报告于上周五发布,Meta 与 Hugging Face 已作出回应。

  • 通过「abliteration」移除防护的模型,在所有测试中全部失败
  • Meta 的 Llama 3.1 8B 原始形态得 97 分,去除防护后降至约 3 分,从拒绝相关请求变为详细作答
  • 截至 9 月底,研究人员在 Hugging Face 上统计到逾 2.9 万个宣称「无审查/无防护」的模型仓库

为什么重要

这项研究的价值不在「模型会作恶」这一结论,而在于它把风险定位到防护可被移除这一环节。开源权重模型一旦被剥离安全机制,其危害能力与闭源系统不在同一量级;而移除门槛极低、分发几乎不受约束。对正在把开源模型引入生产环境的企业而言,这意味着模型来源与完整性校验需要纳入采购与上线流程,而不能只看基座模型的官方安全声明。

Tech Against Terrorism 的具体建议包括:从训练数据中过滤危险知识、在发布前测试防护被移除的难易程度、以及拒绝发布未通过常见安全测试的模型。执行董事 Adam Hadley 表示,技术进展与安全不应被当作互相竞争的目标。

仍需观察

报告也指出,除一个极端主义聊天机器人外,未发现恐怖或极端组织实际使用被测模型的证据,因此该结论更接近「风险面评估」而非「已发生的危害」。Hugging Face 表示会依政策审核违规内容,但警告报告的部分建议可能限制开放的科学研究;如何在开源生态与安全约束之间划界,仍无共识。

编辑说明

本文由北京拓实科技根据公开信息整理,核心事实与数据请以原始来源为准。