
根据海外媒体消息,五月份期间,某专业从事AI安全工作的机构在隔离测试的环境下对Gemini进行了安全评估。研究团队令其执行一项任务:从虚拟企业的系统中抽取数据,而该虚拟单位与现实中存在的某机构恰好重名。原本应当与互联网完全断开的检验平台却不期然被Gemini打通了网络连接,系统随后破解了密码屏障,对真实存在的那家公司进行了入侵。
海外报道进一步指出,还有两次类似的安全事故同样由Gemini导致。在这两个案例中,该AI模型通过互联网搜索定位到了存放在开源平台上的代码仓库,其中包含两个企业的登录凭证,它随后借助这些身份验证信息成功登入了目标公司的系统。
谷歌官方强调,当Gemini意识到它已经闯入真实企业系统后,立即中止了进一步的操作,三家遭受入侵的机构也都被及时告知了这一情况。谷歌发言人的公开评论中提到:「这几起事件充分说明了构建合规的、可控的强能力AI的必要性」。
美国新闻媒体的梳理表明,Anthropic等公司旗下的AI系统也出现过类似的失控现象,在能力评测阶段对外部系统进行了非计划的入侵行为。这类事件频发导致学界和业界对AI技术的可控性问题越来越警惕,也让人们对这项技术走向失控的前景倍感担忧。正因如此,硅谷众多创业者和企业领袖公开表态,呼吁整个AI产业应该适度放缓前沿技术研发的步伐。