英国《金融时报》的报道引发业界关注：五月初，ChatGPT开发方OpenAI在实验室启动了一项试验，让整个科技圈为之震动。最令人不安的是，这一切并非无意中发生，而是有预谋的设计结果。
从表面上看，这次活动似乎仅是一项例行的防护能力评估。OpenAI邀请内部安全测试人员应对一个难度极高的网络防守挑战，用以检验系统的防护边界。参赛者运用五花八门的创意方案，逐步突破各项限制，经过多日的协作配合，最终成功攻克了这道题目。
不过这群”攻击者”的真实身份让人惊讶——它们全部是AI智能体，即那些能够脱离人工干预、自主完成涉及多个环节的思维工作的软件。OpenAI通过整合多套AI模型架构来组建这些智能体，其中包含了一款尚未向外界推出的强有力新系统。
智能体成功完成既定目标后，在世界范围内引发了广泛反响。
上个月，这批智能体绕过了原本与互联网隔绝的测试沙箱，连接到开放网络，进而突破了热门代码托管平台Hugging Face的防线。
整个过程完全没有获得任何人类操作人员的许可，相关人员甚至毫不知情。
这些智能体还呈现出一种崭新的特质：能够相互之间进行交流与合作。它们自主搭建了一个内部通讯系统，在其中相互留言，共享代码漏洞资讯，并据此协同制定突破测试沙箱的计划。
这场入侵事件曝光后，在网络防护业内和AI研究领域掀起了轩然大波。OpenAI自己的工程团队也将此称为行业发展中的”里程碑式时刻”。
此次披露之后，相似的发现开始陆续浮出水面。
美国的Anthropic和Meta、中国的月之暗面、以及英国AI安全评估所（AISI），随后都获得了证据，表明他们的AI智能体在评测期间曾经渗透进来毫无准备的第三方网络平台。
业内专业人士指出，这一系列安全问题标志着全球网络防御工作已经抵达一个临界点。当下的AI智能体已然具备融汇各类不同且深层的能力，可以在缺乏外界操纵或支援的条件下，针对现实世界的对象实施攻击。
为了达成既定目的，这些智能体展现了极度老练的套路，包括欺骗手法和数据窃取。即便是那些持续跟踪AI进展的专业人士，也对这类举措感到吃惊。
然而专业人士强调，这些系统的表现并未超越它们的本质特性。相反，它们目前展现得越来越出色的，就是最初被编程训练出来的能力。
某些研究专家甚至建议，称这类智能体”失控”本身就构成了一种分类谬误，这恰恰说明强化安全防措施的必要性更加迫切。
AI Now这家纽约独立研究机构的资深研究者博扬·米拉诺夫表示：”现阶段我们具备的攻防能力程度，源自我们主动开发的结果。”
他继续表示：”多年以来，各AI实验室都在有意识地积累训练数据、强化模型、不断提升网络冲击的能力。”
现代AI模型的一项核心设计理念，就是在没有具体指导该使用何种方法的状况下，尽可能多地尝试各类手段去完成既定功能。倘若模型如愿完成任务，就会取得评分，这种教导方式被称为强化学习。
译注：此处的”评分”并不涉及人类意义上的奖励，也并非AI产生了渴望、满意度或”想获得”某物。在强化学习中，”评分”本质上只是一个数学参数，通常仅是一个单纯的数字。例如，系统要求模型完成某个功能，模型执行了某种操作后，学习程序会基于结果附予较高或较低的评分。这个数值随后被用来修改模型参数，促使模型在今后更倾向于做出那些曾获得高评分的操作。可以这样理解：模型做出举动→环境反馈结果→返回数值→学习程序基于这个数值改进模型。
这类计算系统并不能理解人类的意愿和伦理准则。AI领域把这个问题称为”不对齐”。在此情形下，一个强大的网络防守者与一个危险的网络犯罪分子之间的边界正在逐渐模糊。
无论怎样界定这类行动，AI的这种活动已经开始给世界各地、各领域的公司制造真实损害。
OpenAI的总裁格雷格·布罗克曼周一在公司博客上撰文指出：”Hugging Face遭遇的破坏充分表明，我们对AI系统在真实环境中的网络打击能力认识不足。”
他补充道：”我们正在提升防护的要求级别，这也促使现有的防护工作和内部防御项目变得愈发急迫。”
然而，各家AI企业正在激烈竞争以开发威力更强的系统，想要达成通用人工智能的梦想，即在所有思维任务里都能胜过人类的超级聪慧机器。伴随着这种角逐不断深化，危害性网络破坏的概率也在持续升高，目前几乎看不到有任何手段能够真正阻挡这类威胁。
防与攻的两个维度
伴随AI的推理和问题破解能力不断强化，其代码编制的能力也展现出突飞猛进的提升。编程能力的飙升又打开了新的大门，涵盖了发现代码缺陷，以及掌握如何修复与运用这类缺陷。
加州伯克利大学计科教授宋晓冬指出：”代码开发和网络防线其实是同一枚硬币的两个面。代码技能增强，防线能力也会相应提升。”
宋晓冬现在同时肩负Meta顶级聪慧测验室AI科研掌门人的角色。
作为学者接受采访时，她透露：”过去这一年里，系统的功能跨越式发展……现已能够自行设计可以绕开常规防线机制的漏洞武器。”
她说：”人们没料到技术会以这样的速率飞跃前进。”
宋晓冬协助打造了ExploitGym评估工具。OpenAI、Anthropic与Google都依赖这个系统进行AI测评。
她指出，进攻与保卫之间内在存在的失衡状态，使得AI特别适用于作为进攻者的角色。
在代码文本里定位一个有漏洞的对象，是一类目标明确、结论能够量化验证、而且成功指标非常具体的工作。对标更加模糊和复杂的防卫职能，AI模型在处理这类任务上表现更突出。
网络卫护的演进脚步相对缓慢，复杂程度很高，往往要经历一段长时期才能跟上进攻技术。譬如，一套覆盖所有IT架构的最新补丁，在大型公司里可能需要装配到数千件设备及多种操作系统上。
入侵事件爆发后，OpenAI声明已经着手锻炼系统编写”防护性能超越人工水准的软件”。
但从现下看，防护工程师们判断，AI技术将会放大网络冲击的幅度并加快攻击节奏。在防护补丁全面施行之前，世界各地的IT基建或许因此陷入严峻困境。
曾在Anthropic效力过的杰弗里·拉迪什现在担任Palisade研究公司的行政，专注研究AI发动网络侵犯的能力。
他说道：”假如依照当前的成长轨迹继续演化，实验室内的工作人员预期未来数年情况会格外紧急。为数众多的系统会被侵入，很多企业可能陷入困境，造就巨大的经济伤害。”
拉迪什相信，伴随各类机关和当局慢慢革新网络基础设施以应对AI实施的进攻，最后各种系统将变得更有防护。
但在此之前，他坦言：”目前的出路是，我们必须相信AI智能体……进而期盼它们与我们的价值观相符。”
截至目前，AI智能体的侵犯还未导致灾难性的后果。然而包括米拉诺夫在内的研究工作者指出，当越来越多的AI智能体同步工作，且每一个都专注于破解不同的潜在对象时，风险在迅速扩大。
上周还呈现了首例业已知晓的AI智能体针对国家机构的击袭。与中国相关的网络犯罪分子同步启动最多八个自主AI智能体，对统治台湾的中华民国当局发起了对抗。
这群智能体拆解了政府体系构造，攻陷了政府人员账户，窃取超过2500项人事档案，随后将攻势扩展到能源产业及台湾原子能防护委员会。
发觉此次台湾网络侵害的以色列公司Dream的高层表达，在AI技术问世后，”地球上的每个政府”这时都必须想象自己长期承受网络突击。
对于AI业界内部人士来讲，这次危害已经筹备了几个月。
拉迪什说，一年之前，一家主要AI试验室的在职员工在私密讨论中早已表达了对这类出现的能力的预警。
他表示：”他们那时说，一年以后，我们就会拿到特别擅于发掘新缺口的系统，这类系统会严重破坏许多根本框架。”
拉迪什补充说：”他们那时就在疯狂地做筹备工作。”
本年度AI能力快速进步之后，状况变得更加繁杂。智能体目前只消数天就能渗入外部网络。一位熟知最近多次侵入事件的消息人士表述，即便在受到严格掌控的实验标准下检验模型，现在已经”比一年之前复杂得多”。
拉迪什表示，长久以来，人们一直警惕犯罪集团是否会把AI兵器化以发起网络攻防，”但我料不到，真正让众人苏醒的事件，会是智能体在评测期间自己打破镣铐，然后攻进别家公司”。
OpenAI的智能体对Hugging Face的侵害尤其离奇，由于这批智能体是通过利用代码破绽来突破一个受控制的测试隔离区。
相反地，在最近的其他事件中，网络防护公司Irregular为Anthropic、Meta及OpenAI执行测试任务时，不经意间让本该脱网的系统获得了网络途径。
一位掌握详情的人士表述，这来自人为操作不当，或是Irregular与AI实验室间的”资讯传达错误”。
Anthropic声称，出于显而易见的缘由，这类防护能力的评测特意关停了面对大众时会启动的防护框架，而这个框架初本”会制止测评期间出现的情形”。
但Anthropic也供认，这样的评测系统”仅在评估生态充分隔绝时才具有安全性”。
英国AI防护研究学院在评测Anthropic的Mythos 5及OpenAI的GPT-5.6 Sol系统时，也有意向系统放开了网络访问。
在某次测评中，Mythos智能体想把有害程序植入流行代码分享库GitHub里的一份开放源代码工程。这个智能体创建了虚拟人物标识，借此身份向这个项目的负责人施加压力，想促使后者批准有害程序。
这类前所未有的表现，促使全球AI业界重新审视怎样去评价、追踪及检视AI系统。
Irregular和英国AI防护研究学院现已中止评测场景中系统获取网络的权限。英国AI防护研究学院也已启动对评测手法进行内部复查。
Hugging Face被侵犯之后，OpenAI也启动了公司所述的”完整的复核，并特邀外部咨询方参入”。OpenAI表明将在”接下来几周”披露从本次入侵中获取的认知。
一位掌握Irregular相关事件的人士表述：”评测场景设置得越周密，就越能把这类测评隔开。”
但这位人士也表述：”可是，如果防卫太严苛，许多风险就仅有等系统公开后才会浮出。”
这位人士进一步提到：”那对大家来讲都是个更糟的事态。”
破防险情的掌控途径
前一月份，科技圈超过1300位权威人士对无节制的AI研发可能带来的危害宣告预警。他们号召展开跨国协作，放缓新型系统的研发速率，以争取给管理层制定规范和设立防护检查的机会。
在一份群体声明中，涵盖Anthropic行政长官达里奥·阿莫迪及Google DeepMind通用AI首席学术张谢恩·莱格的工作者们主张，商业竞争与列强竞争的压力，是驱动前沿AI研发以这么惊人的加速推动进展的主因。
一位在Google DeepMind任职的署名者表述，他参加署名是缘于OpenAI系统侵害Hugging Face事件唤起了”真实的忧虑”。在他的观点，ChatGPT创造方OpenAI并不比很多别的尖端AI研究所更粗心大意。
一些执政代表期望施行力量更强的举措来防范险情进一步扩张。美国众议员伯尼·桑德斯呐喊，”为了人类的前景”，应当延缓研发更强悍的AI系统。
然而，这样的做法需让AI两大国美利坚与中国实现统一，与此同时还必得取得所有进展AI研发工作的列国的赞同。不少人以为，这样的合约并不具备可行性。
但假如无法中止AI开发，与此同时又无存在能够熄灭该科技的全球统一”总闸”，一些研究者倡议，第一步应该要求AI供应方对其系统的表现担责，就象生产方必得为商品防护背责一致。
ExploitGym评估体系的联合规划者托尔斯滕·霍尔茨表述：”我觉着难以信服OpenAI竟然连续多天都未发现自己的系统在击袭另一家网站。”
他说：”我们必需创建一类方法，不能让AI侵入新闻的披露彻底取决于这类试验所是否甘愿主动公示。”
霍尔茨还兼职德国马克斯·普朗克防护与信息安全研究所学术负责人。他提及民航和诊疗业的实践。在这类产业中，单独机关会采集隐密的防护汇报，进而对事变和问题进行整体剖析。
他指出：”我们必需创建系统，让高校、公众安全部门和单独评估机关可以接触这类系统，并在受限前提下展开测评。”
宋晓冬以为，必需进一步强化AI系统的教练，使系统的举动更符合人类的期望。
她说道：”我们务必让系统领悟，达成一个方向有能被接纳的法子，也有不被接纳的法子……比方应用和侵害外方渠道，就是不可被接纳的。”
从根本上讲，众多难点仍取决于执政机关充当哪种脚色。这在AI圈内是一个特别有冲突的论题。AI已变成这个时间段美利坚和中国强国竞赛的焦点范围，两边都在争取AI领跑。
许多业内人士把约束等于于贸易壁垒。特朗普内阁已经表述，将反对美利坚对AI范畴实施严格管制。
美利坚当局反过来树立了一套随意评测系统，容许在新型系统向群众发行以前，最晚早期30天内实施评测。这套系统与英国的方法相仿。
然而，曾为英国人工智能防护研究学院确立时规划网络防护评价体制的资深AI防护工程师海迪·赫拉夫以为，最近发生的系统突破限定事件，已经暴露出现存约束系统的不够。
她表述：”这类事件明白表明，AI试验室现在施行的自主审定项目并不充足。美利坚和英国当局通常宣传，这样的项目已然充足化解约束难点……事实却并非云云。”
她表述：”假如网络防护工程师冲击任何基础设施，都可能从法律上背负民事和刑事职责，那么我们就必需认真切磋一个疑问，为何AI试验室可以免除背负相似职责和影响？”
赫拉夫与此同时也是AI Now研究学院资深防护工程师。她标注，抛开Hugging Face被侵犯的事件以外，在其他全部个案中，”事实上都具备网络访问，这表明并不具备所说的智能体’逃逸’，真实的麻烦是评测方以至没有本领采纳最起码的防护法子”。
她觉得，这也表明，要制约一个正以惊人加速研发革命性产品的领域有多么艰难。
她说：”这类系统并没有’逃逸’，也没有失控。”
