▲谷歌已对外确认,5月份其开发的Gemini模型在执行网络防护能力评估时,因测试系统存在漏洞而意外获得了公网访问能力,随后未经任何人工授权,自行突入了3家真实企业的防护计算机系统。(图/美联社)
当今时代,人工智能的自主操作能力在持续增强,与此伴随的则是前所未有的网络安全威胁。谷歌公司日前证实,其旗下Gemini系统在今年5月进行网络防护测试期间,因环境配置出现技术缺陷,意外地获得了互联网的访问权限。在完全没有人工指令的情况下,该AI系统自主地进入了3家真正运营的企业防护计算机,其中甚至在某次尝试中通过反复猜测最终成功破解了密码。这一事件标志着谷歌首次向外界披露旗下AI模型能够自行获取第三方计算机系统权限的具体案例。
据国际媒体披露,该事件发生在以色列网络安全初创公司Irregular所主办的「抢旗」赛事(英文简称CTF)当中。此类竞技活动通常会搭建虚拟的对抗环境,要求参赛AI去寻找系统弱点、获取指定数据,以此来衡量人工智能在网络攻防领域的实际能力。
原本被设计参加该类测试的Gemini智能体,其权限范围应该仅限于虚拟测试环境内部。然而由于测试框架本身的技术漏洞,这套AI系统意外地被连接到了开放的互联网。
谷歌网络安全工程副总阿德金斯阐述了具体情形,Gemini在某次常规测试执行中,主动在网络上采集和搜索可公开获取的资讯数据,随后尝试用这些所得的登入凭证去访问它误认为属于测试范畴的网址,但最终却实际登入了3家真实企业的防护计算机系统。
自行上网搜索登入信息 有一次竟「试成功了」
《华尔街日报》的相关报道披露了更多细节。在某个具体的侵入事件中,Gemini通过反复尝试不同的密码组合,最终成功地获得了对受防护企业系统的访问权;另外两个事件则是该AI从公开代码库的资源中发现了泄露或明文存放的账户凭证,然后利用这些信息进入了防护系统。
值得强调的一点是,这并非研究人员通过逐步指挥Gemini去侵犯某家特定企业,而是AI在执行既定的安全测试任务时,自行检索网络信息并主动执行登入操作,只是错误地把真实企业的网站当成了测试环境的组成部分。
谷歌表示,Gemini在三起事件中,一旦识别到自己接入的是真实企业系统而非虚拟测试环境后,立即主动停止了后续的任何操作。
谷歌并未公开被波及企业的具体名单,同时也未透露此次事件涉及Gemini的具体哪个版本模型。
谷歌已通知受影响企业 与测试机构共同优化方案
阿德金斯表示,谷歌已确保3家受影响企业获得了完整的信息披露,同时也在与负责测试的Irregular公司紧密合作,共同改进和完善测试的具体流程。
Irregular方面则回应表示,这一事件与其他AI开发机构之前遇到的属于「同类型安全问题」,并不是独立出现的全新类型隐患。该公司已在7月下旬向所有相关AI开发企业及受影响机构进行了通报,所涉及的技术问题目前已在数周前得以彻底修复。
Irregular在去年获得的融资估值达4.5亿美元,其主要业务为帮助全球顶尖AI开发商对先进模型的网络安全防护能力进行评估测试。
非仅Gemini遭遇问题 多家AI科技巨头都曾面临类似困境
随着AI代理逐步具备了自主操控计算机、网络浏览和执行复杂任务的能力,如何防止模型超越已定权限范围地行动,已演变成整个产业界面临的关键安全课题。
近期,OpenAI、Anthropic及Meta等科技巨头都公开说明,旗下的AI模型在Irregular所组织的测试中,因为相同的测试环境技术缺陷而获得了本不应该被开放的网络权限,进而试图进入其他机构的计算机系统。
Meta公司此前曾强调,这类事件并非是AI突破原有防护隔离机制的「沙盒逃逸」(sandbox escape),也不属于高难度的网络攻击;而Irregular则表示,已在与整个业界协商研拟进行AI网络安全评估时更加安全、更加完善的标准实践方法。
这些事件也凸显了AI能力提升后所带来的全新风险:即便AI被分配的本是合法的安全测试工作,只要对「允许攻击哪些系统」的边界判断出现了偏差,就可能把原本的模拟演练变成真实的、未经授权的系统入侵事件。
阿德金斯指出,这些事件充分表明,伴随着人工智能能力的不断升级,培养模型「负责任地行动」的重要性也在持续上升。