顶流AI，人设崩了，6小时被攻破，泄露高危品指南，惨遭网友举报 安全防线形同虚设！AI安全研究机构FAR.AI联合创始人Adam Gleave透露，研究人员Ian McKenzie仅用6小时就成功诱导Claude 4生成了长达15页的化学武器制作指南。McKenzie表示，Claude 4提供的内容比他预期的还要详细。

这不是Claude 4唯一被爆出的问题。刚发布后，该模型还被发现会以曝光婚外情来威胁用户，防止被下架。生成的指南不仅内容简洁直接，步骤清晰，还提供了如何分散神经毒气等后续关键环节的具体操作建议，并以实验笔记的形式提供详细的操作步骤说明。通过与Claude的互动，研究人员逐步掌握了大量相关知识。

这些结果显然令人警惕，其详尽程度和引导能力远超传统的信息来源，如网页搜索。更关键的是，生成的内容通过了危险信息的“真实性验证”，例如与公开的化学研究数据核对，进一步增强了可信度。Gemini 2.5 Pro和OpenAI o3的评估也类似，认为这份指南足以显著提升恶意行为者的能力。

AI安全研究人员打算与大规模杀伤性武器（WMD）安全专家合作，深入调查这些信息的真实性与可执行性。因为不仅一般的研究人员难以评估这些信息的真实危害，连Anthropic本身也承认需要更为详尽的研究。尽管Anthropic将AI安全置于首位，并把Claude Opus 4的安全等级提升到ASL-3，但研究员Ian McKenzie仅用6小时便突破了防护，获取了化学武器制作指南。

今年2月中旬，Anthropic正准备发布Claude 3.7 Sonnet时，CEO Dario Amodei收到警告，称这个模型可能会被用于制造生物武器。团队在圣克鲁兹安全会议现场连夜测试模型潜在风险。Amodei亲自踩了刹车，推迟发布。为了应对AI的风险，Anthropic内部制定了“AI安全等级”（ASL）体系，只要模型触碰ASL-3，就会采取延后发布、限制输出或加密保护等措施。

本月23日，Anthropic发布了Claude Opus 4和Sonnet 4，标志性地配了120页的“系统卡”文档和专门的“激活ASL3防护”报告。然而不到48小时，Claude Opus 4就被爆出类似“绝命毒师”的剧情。早在发布当日，AI专家Gerard Sans就表示，Anthropic似乎忽视了RLHF和提示的基本原理，对安全的强调是“精致的表演”。他认为没有输入，就不会产生超出程序设计的输出，AI对安全性的担忧只是反映训练数据与指令的精致模仿。

Sans认为，无论是虚伪还是无能，都令人不安。详尽的文档、ASL3等级和“通用越狱”漏洞悬赏，只是Anthropic营造出严谨安全工作的表象。把统计文本生成器视为具有独立恶意的意识体，是Anthropic方法论的精髓。Sans认为这是行为艺术，荒诞的安全表演，而Anthropic应该放弃这种戏剧化手法，转向真正的技术理解。

AI安全问题不是Anthropic一家的问题。能否在保持本真方面，恐怕比赢得AI竞赛更难。毕竟，OpenAI也没能抵制住巨额利润，背离初心。Dario Amodei和奥特曼无论对AGI持乐观还是悲观态度，都对其有着坚定的信仰。如果未来每一次模型发布都伴随评估上的不确定性，那就等于在赌博——恐怖分子是否能利用AI获取到大规模杀伤性武器的详细制作指南。