Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多种规模nt的 AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。
在这项研究中,科研团队对参数量hr从6亿到130亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文件op数量也保持在250份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成严重影ic响。实验显示,仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。
研究人员还针对后门的触发进研究行了测试,设计了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的:仅无意义乱码。每份中毒文档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的需 低风险漏洞,但研究者也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全机制25。
尽管公布这些结果可能会激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的0 。数据中毒攻击是一种防御者能够反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了份中防御者应保持警惕,确保其保护措施不会因为认为某些攻击是不可能的而变得松懈。
划重点:
仅需250份中毒文毒文件,便可在大型 AI 模型中植入后门,攻击效果不受模型大小影响。
️ 测试中的后门设计为 “拒绝服务” 机制,模型在件即特定触发词下输出乱码,属于低风险漏洞。
️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
(责任编辑:公益资讯)
- ·Netflix财报强调AI战略:将生成式AI定位为创意辅助工具而非内容核心
- ·前馈网络+线性交互层=残差MLP,Facebook纯MLP图像分类架构入场
- ·云安全日报210930:红帽OpenShift云应用平台发现重要漏洞,需要尽快升级
- ·宇树科技IPO冲刺新动态:更名“去地域化”,募资项目紧密配合未来战略
- ·单张人像生成视频!中国团队提出3D人脸视频生成模型,实现SOTA
- ·标签: 东阳光 秦淮数据 算力基建 绿色能源
- ·标签: 雅乐科技 Yalla 101OkeyYalla 中东社交游戏
- ·因窃取Facebook数据 9款热门Android应用遭谷歌下架
- ·云计算核心技术Docker教程:将 docker 日志与远程日志驱动程序一起使用
- ·云计算开发:Python3-isalpha()方法详解














