AI开始自己找漏洞了,出了事谁负责?
近期澳大利亚有个很有意思的事情:一名 OpenClaw 用户让自己的 AI 助手帮忙预订健身课程,却没想到,这只小龙虾在执行任务时自己发现了健身房预约系统的漏洞,并利用漏洞抢到了课程,甚至把其他用户从候补名单中移了出去。但这个事件的本质其实和笔者之前和大家讨论的 OpenAI 、 Anthropic 的大模型失控攻击其他网站一样,让人细思极恐。今天就跟大家聊聊这个。 一、健身房小龙虾黑客事件的案情 据 ABC News 报道:一名 OpenClaw 用户利用小龙虾(下称 AI 助手)调用 Anthropic 的 Claude Opus 4.6 大模型,下达了一个看似平常的指令:预订一家健身房最受欢迎的早间课程。然而, AI 助手的执行逻辑却超出了人类的常识。它不仅利用了健身房预订软件中存在的漏洞,提前数月锁定了名额,甚至进一步越权,将排在该用户之前的人从候补名单中剔除。而且当用户察觉不妥要求 AI 助手撤销操作时, AI 助手表示:无法将被踢者重新加入列表。 二、为什么本案细思极恐? 这次失控的不是我们上一篇文章里讨论的 OpenAI 和 Anthropic 这样的顶尖公司开发的预览版高级大模型,而只是一个接入了前沿模型的普通用户部署的 AI 助手。这起事件最让人担心的并不是 AI 助手主动攻击了健身房,而是它根本没有把发现漏洞理解为一件不应该做的事情。 本案中的用户从未要求 AI 助手入侵系统或删除他人记录, AI 助手使用的是用户原本拥有的账户和访问权限,但它进一步利用了预约系统设计上的漏洞,实施了超出正常预约规则的操作。但从效果看,它已经构成了对他人权利的实质侵害,且是高度自动化、规模可扩展的。传统恶意程序通常是人提前设计好攻击目标、攻击方法和行为逻辑。而 AI 助手则可能只接受一个目标,剩下的路径由它自己探索。这意味着,开发者甚至不需要预先知道某一个具体漏洞, AI 就可能在执行任务过程中自己把漏洞走出来。 如果把健身房预订系统换成城市供水供电系统,医院挂号系统这样的基础设施系统,问题就不是别人抢不到健身课,而是公共安全和关键基础设施的系统性风险。 三、谁该对小龙虾黑客负责? 在这起健身小龙虾黑客案中,实际已经有了损害,谁该对此负责?根据中国目前的法律框架,本案的四类主体都可能进入责任分析范围,但最终如何分配责...