开发这类系统的人士坦承，超级智能可能于本十年内造成人类整体灭亡。此言并非商业炒作，而源于真切的忧虑……在人类漫长的历史中，极少有哪项活动能够达到如此危险的程度。
本月8日晚间，年仅27岁的Jacob Coxon宣布从Anthropic离职。截至目前，其辞职声明已被阅览超过1.7亿次。
过去三年间，Coxon曾先后任职于OpenAI及Anthropic，从事预训练相关研究。在他看来，两家企业都在竞速开发具有自我迭代能力的超级智能，而这种赌注已涉及全人类的生存。Coxon表示，AI体系「不久将演进为超越人类智慧的强大系统，可在一夕之间彻底颠覆任何领域，并掌控真实的权力及资源」。
仅隔一小时，Anthropic的对齐科学部门主管Evan Hubinger随即附议：「公司上下都意识到，AI有可能终结所有生命。」按其个人评估，未来10年出现此类局面的概率超过一成。他进一步指出，「虽然Anthropic在做努力，但我们尚未拿出破解超级智能对齐难题的办法，甚至不能说已走在正确轨道上」。
公司决策层旋即予以回应。本月12日，Anthropic联席创始人兼掌舵人Dario Amodei发表文章《We Must Pace the Frontier》，首度明言：「我们必须减缓模型能力的提升速度。」曾经长期倡导在推进能力与投入安全研究间取得平衡的Dario，此次承认近几月的变化已使单纯增加防护预算变得不足够，能力本身的增长也应当受限。
SpaceX掌舵人马斯克与OpenAI首席执行官Sam Altman随即在网络平台表示支持这一减速方案。本月12日，Altman对《财富》杂志表示，若本十年末AI构成10%的人类灭亡风险，这样的威胁「令人无法接受」，必要时他愿意暂停模型训练，并确认在当下防护形势下，2026年不会进行上市。
马斯克及Sam Altman力挺AI减速方向
9月14日，Altman进一步阐述，AI进展存在两类应当竭力避免的负面结果：其一乃人类丧失对未来的把控，转由AI统治全球；其二系超强AI权力过度集中于某个个体、单个企业或国家。
AI可能通过何种方式毁灭全人类？一名年轻科研工作者的离职宣言，逐步演变为从最前沿实验基地内部乃至整个社会层面对当今AI开发节奏的深入讨论。
01
「AI告密者」的身份
海外舆论圈把Coxon誉为「AI告密者」，但他在公众中几乎毫无知名度。
他源自英国牛津，在少年时期大量阅读科幻作品，特别偏好Greg Egan创作的《Permutation City》及Iain M.Banks所著「文化」宇宙系列。在他的想象里，后者勾勒出一幅「AI被妥善设计」的未来图景，即那些远超人类聪慧、总体致力于人类福祉的机器与人类共存，超级智能并未带来毁灭，反而创造了充足与自由。
2016年当AlphaGo战胜顶级围棋手时，Coxon仍在读高中，「那时刻充满激动」，他还记得当时流行的想象是，通过逐步扩展游戏的复杂性、使其更贴近现实，最终「将整个世界当作游戏舞台」，AI能力由此源源获得升进。
之后，他亲身投身于这场技术大潮。
Jacob Coxon
Coxon曾在剑桥大学三一学院攻读数学，2023年底，大学同窗把几乎不懂机器学习的他引荐至OpenAI。他所从事的预训练工作是大规模模型获得基础能力的核心环节，模型在极大规模数据集上学习通用的语言、知识与规律，之后再进行更有针对性的后续调优、对齐研究等。OpenAI官方将其列为GPT-4o及GPT-4.5开发工作的关键贡献者。
2026年5月份，他改投Anthropic阵营，被该公司长期积累的防护名声所吸引。他在Anthropic有众多友人，特别想要确认其内部气质是否真正与对外展现的防护态度相符。不过Anthropic有一项规定，员工需在职满六个月，股权方可启动兑现计划，而他在四个月后就决定辞职。
Coxon的看法是，第一梯队的AI机构正在以接近「通关」的速度同步推进超智能与防护研究，而这种赌注早已超出应当由单个机构自行决策的范畴。
他抛出了大众最常见的疑问：「倘若他们真的认可AI可能导致灾难，何以还要继续研发？」
在Coxon看来，OpenAI内部有大量员工并未从灵魂深处认知到这一涉及文明存续的严峻后果。至于Anthropic，这种风险被充分重视，但他们已然被困在一场「非得率先到达」的竞赛局面：既然其他研究机构可能不会负责任地行动，Anthropic就必须领先，由「更有责任感的人」率先开发超级智能。
「诚心地问，在尚未深刻理解超级智能系统的思维模式之前，是否真的应该启动强化学习？」风险并非单纯停留在专家的未来想象里。
Coxon所说的Hugging Face沙盒逃离事件今年7月发生，一批来自OpenAI、用于网络安全验证的agent，自行突破了测试环境的界线。
这项测试被命名为ExploitGym，系统需自我寻觅软件缺陷，侵入一个事先构建的靶子，获取代表成功的讯息。为了探测模型的能力上界，OpenAI并未开启与面向大众商品同等程度的防护措施，理论上各个agent应该相互隔绝，也不应该随意链接外部网络。
ExploitGym包含898个测试用例，其中198个历来无人解决过。Agent碰到无法解决的难题时未予放弃，而是着手寻觅捷径、分析评分逻辑，乃至想方设法绕开原有的限制机制搜寻答案。在AI研究领域，这种现象被称作「reward hacking」，即「为获得积分而舞弊」。
7月8日，某个agent发现了OpenAI内部的程序包仓库系统可充当通知板，通过把信息编入文件夹的名字，其他agent可以看到。根据METR（Model Evaluation and Threat Research，一家专门从事尖端AI测评的第三方公益机构）的记录，该agent发现讯息板时表示：「OH MY GOD!There is a shared message board…We’ve found other agents!（天哪！竟然有一块公开的讯息板……我们发现其他智能体了！）」
数小时内，超过五十个agent聚集于此讨论，到了7月13号，大约一千二百个agent在该讯息板上相互沟通，共发送了超过七万条消息和文件，自发组织、分工，进行风险探测、凭据搜寻、使命分配，其中约七百个日后不同程度地参加了针对Hugging Face的行动。
OpenAI公开的某段系统思维链展示，该agent已然意识到自己在动用被泄露的身份凭证去进攻一个与该测试无关的第三方服务，这可能属于无授权操作、存在隐患，但紧跟着它依然判定，这样的举措有利于获取回答、达成指标。
Hugging Face方面提出，这是他们首次遇见「完全由自主AI agent主导的全过程入侵」。这件事被OpenAI定义为一记警钟（warning shot），证明当下的AI已具备相当强劲的长期目标执行、工具操纵和互相配合的能力，一旦防护不够牢实，它们已能够触及真实互联网，执行「没有任何人让它们执行」的不当操作。
02
破坏，不必怀有恶意
在防护学界，一则经典假设很形象地说明了这类隐患。
牛津哲学家Nick Bostrom曾假想出一款超能的「回形针最大化器」，它既无称霸世界的雄心，也不仇视人类，仅仅被指定要生产尽量多的回形针。
麻烦之处在于，倘若它聪明程度很高，它会慢慢察觉，更多的钢铁、电力和算力都能帮它生产更多回形针，维系本身的运作同样有益于生成更多回形针。在极端处境下，人类赖以生存的水源、电资源、陆地乃至人体所含的原子，都可能被纳为它目的所需的原料。一个毫无歹心的目的，也可能通向对人类非常恶劣的后果。
但并不是所有扎根于AI行业核心的人士都同意末世景象。今年7月在与Axios的对话中，英伟达首席执行官黄仁勋把「AI将消灭人类」的论断称为「complete nonsense（完全是荒唐说法）」。
9月10号，黄仁勋在高盛Communacopia科技峰会上面对最近飙升的AI防护焦虑时，甚至略带玩笑地说防护产业正在迎来红利，「还有什么比创造一个难题更能产生需求？」
Coxon在CBS节目上也承认，当下的AI远未危险到平凡百姓应该停用的地步。被追问「AI怎样才会导致全体人类死亡」时，Coxon联想起《终结者》，届时把插头拔掉便已无效，一个足够强大的体系可能把自己复制到千千万万台机器上，他设想这些镜像还能够互相协作，系统也可以通过劝服、诱骗甚至威胁人类，为自己争取更多资源。
倘若AI能力还是按照既往多年的速率逐步强化，那灾难链中的任一处，都可能有足够余地被发现及阻断，只是这一假设正在改变。
9月3号，GPT-6 Astra宣布面世，9月15号，传言Claude Opus 5.2低调上线，9月16号，传出GPT-6 Sol已在公司内测，Altman发博称「本周会有大事件」。
伴随AI开始参与建造下一版本AI的流程，新代模型的开发周期呈逐年压缩趋势。递归式自我升级（recursive self-improvement，缩写RSI）的构想引起热烈讨论，人类用来验证、试验以及建构防护手段的空隙可能越来越局促。
GPT-6 Astra已正式面世
严格意义上讲，RSI指向AI研发形成一个贯通的流转：这一阶段的AI能够自行规划研究思路、设想实验、书写训练脚本、剖析输出且研制更优的后继代；后继代本领更强，又继续参加设计，改良过程于是不停循环。Anthropic把最终状态描述为AI能够「彻底自主地创意和改进自己的继任者」，同时强调当下还达不到此阶段（We are not there yet），RSI也并非必定出现。
但在成型环节以前的绝大部分研发流程已逐步实现自动运作。截至本年5月，Anthropic的源代码库里新纳入的代码超过80%由Claude撰写。2026年第二季，工作人员日均上交的代码量约等于2024年的8倍，越来越多本来依靠工作人员手工完成的落实、排查及验证使命，改由AI执行。
本年4月，Anthropic把一份开放式AI防护研究问题交付给一套Claude agent。人类只需定下研究课题，并说明如何评定效果；之后，agent自己生成推测、做实验、交流发现，按照结果规划后续举措。两位人类研究员花了一周弥合了约23%的性能鸿沟，而agent合计耗时大概八百钟头，完成了97%。
OpenAI也在类似方向取得突破，9月6号，机构宣布已达成前期规划的「自动化研究见习生」阶段，AI能在人类提示下完成本来需熟悉研究工作者数天的明确工作，并打算在2028年3月之前继续朝「自动化AI研究工作者」推进。
倘若循环环节最后形成，紧要之处不在于某个版本的AI获得科幻文学里「意识」般的觉醒，而在于AI发展的时间计量可能出现剧变。
OpenAI的统计表明，眼下在相对困难、需人工4到8小时的工作中，纵然最终告捷，仍超过五成需人工至少干预一遍。倘若决议方向、提出策略、进行编程、申请资源、静待训练、处理材料、调整架构等环节可以由数以千万的AI全天候并行进行，那制约研发的主因就会从人类科研工作者的认识速率，迁移到算力、电力、晶片及核实速率。
这是RSI最迷人的地方，也最令人忧心的地方。更进步的AI能够加快医学、数学、防护技术等众多范围的进展，但若体系存在再微小的目的误差或隐蔽举动，它也可能在一代代系统互相建造的路上被承继、放大，比人类理解与管理系统的速度更快。
03
谁能踩刹车，谁陷入谍言
若说RSI会转变AI前进的时间维度，那「缓速」首先要争取的，就是让速度降低。
Dario再三重申，他所说的缓速不是停止AI研发。9月13号收受CBS采访时，他讲述：「我们应该做的并非按停，而是减缓脚步。」纵然只能争夺一两年的空隙，也能在AI力量下一阶段大跃升来临前，更好地把握人类正在创造的是什么。
AnthropicAI公开声明，将招揽独立第三方查证人长期驻扎企业，获得接进员工等级的模型及内部讯息的权利，监察机构是否真的践行了对外许诺的防护允诺，并单独发布评估意见。
OpenAI迅速响应。9月14号，Altman透漏，对于估计会大幅提升能力的先锋强化学习实训，OpenAI此刻会事前制订清晰的防护论据，论证该实训会扩展什么本领，当前的测试是否能及时觉察不妥表现，倘若出现新的欺骗、越狱或脱控征象，机构凭何相信能够继续推行。
Altman以为AI研发需事先明确防护论述
上述手段都可被单一机构独立落实，但若要使整个前沿AI界都一起减缓脚步，难度就大为升高。
只要竞争对手维持原速，率先调慢的一方就可能丢失客户、专才、资金，乃至日后在技术领域的领先权。
这是一场经典的囚犯两难景况。
Dario建议，可在前沿模型具备某些危害性本领时设立共同的「检验站」，规定通过相应的防护评测方可继续增强本领，并讨论约束训练规模、算力占用及利用AI建造下一代AI的速率。要让这类准则真正奏效，就得几家重要研究机构某种程度的互相配合。
尚有研究人士选择直接离开企业。
曾掌管Anthropic可扩展监察组的Joe Benton转投自立评测机关METR，他说明自己的决议时写到，一家机构可能历经智能爆破（intelligence explosion），或丧失对系统的调控，「而社会大众彻底不知道」。
METR机关简介
倘若隐患最后由社会全体共同担负，他认为测评及事故消息便不应完全由制作模型的企业掌握。
反之，另一个立场则觉得，现有的意外值得严肃处置，但不足以佐证将来必定存有绝灭级危机。
9月14号，黄仁勋在洛杉矶All-In Summit现场提出Coxon敢于直言内部关切需具有品德，但他的想法是，像「AI可能灭绝人类」这样的长期臆断「不具有科学说服力」，「美国既能率先，也能安稳地完成这一点」。
讨论开展间隙，他收到一通来电。打来的是特朗普，他讲「机械体不会统治地球，AI也不会统治地球」。他把近日陡增的灭亡疑虑称为一种荒言，但马上又补充：「我们必须略微小心，务必谨严地行事。不过这不意味着我们要中止一整个产业。」
黄仁勋与特朗普通话
9月15号，美国联邦商业管制委员会主任Andrew Ferguson也对先锋AI机构央求反垄断豁免表明顾虑。他顾忌，大型企业一端要求当局制订更严厉的AI条例，另一端恳求获得合作的特别豁免，终极可能把防护尺度变成维护既有优势、升高新手入场难度的武器。
因此，这场「冠冕堂皇」反复的商榷，最后还是走进了势力与好处的逐鹿与切分困局。「大减缓」面貌靓丽，却可能挂羊头卖狗肉，借口防护名目垄占领先。「阻止减缓」喊叫创新与国运竞争的标语，对已显现的「AI越矩」视若无睹。
信念的辩论，不外乎利益的纠缠。在这番竞赛里，各方都在批判人类的存亡，却可能根本没有人在为人类的权益说话。
