“那些将AI推向前沿的工程师，他们深刻地坚信，这个十年或许会看到人类被自己创造的系统所消灭。这绝非商业宣传的伎俩……纵观人类历史，未曾有任何活动具备这样的危险等级。”
9月8日夜幕降临时，27岁的Jacob Coxon做出了一个重大决定——离开Anthropic。其发布的离职声明在短短时间内获得了1.7亿次浏览，引起业界巨大关注。
在过去的三年中，Coxon分别在OpenAI和Anthropic两家机构专注预训练领域的科研。他表示，”这两家公司都在竞相开发自我迭代的超级智能，以人类生命作为代价赌注”。据Coxon描述，AI系统正在快速演化成超越人类智力的强大实体，可在瞬间重塑多个领域，并夺取真正存在的权力与资源。
Coxon的声明发出一小时后，Anthropic的对齐科学主管Evan Hubinger加入讨论，他强调：”我们深刻认同AI对所有人类的生存构成威胁。”他个人评估显示，未来10年发生这种灾难性事件的可能性超过10%，”尽管Anthropic在努力应对，但我们还未找到超级智能对齐问题的有效方案，也无法确认正走在正确的解决路径上”。
公司领导层迅速做出公开回应。9月12日，Anthropic的联合创始人兼CEO Dario Amodei发表署名文章《We Must Pace the Frontier》，在其中首次明确提出：”我们必须对AI模型能力提升的步伐进行制约。”此前，Dario一直倾向于一边推进AI能力，一边通过安全研究来管理风险；但此刻，他的立场有所转变——这几个月来的进展让单纯增加安全投资不再充分，模型能力增长本身也需要被限制。
SpaceX的领导者马斯克与OpenAI的掌舵者Sam Altman很快在公开平台表达支持放缓步伐的立场。9月12日，Altman接受《财富》杂志采访时表示，倘若今年末AI造成人类灭绝的风险达到10%，这样的代价是”无法接受的”，必要时他准备暂停所有模型训练，并确认在当今的安全形势下，2026年公司不会启动上市计划。
马斯克与Sam Altman均表达了对AI减速的支持
9月14日，Altman进一步阐述，AI发展前路中必须规避的险境有两种：其一，人类对未来的掌控权转移到AI手中；其二，过度强大的AI将权力过度集中于单个人物、某家公司或某一国家。
AI究竟如何能够摧毁整个人类文明？一位年轻科研工作者的主动离职，逐渐演变成了从最尖端实验室内部传出的声音，最终扩散为全社会针对当前AI推进速度的深刻反思。
01
“AI的吹哨者”
许多国际媒体把Coxon标签为”AI产业的吹哨人”，但在此之前，他几乎没有什么公众辨识度。
Coxon出生于英国牛津，年幼时沉浸于科幻小说的虚构世界，Greg Egan创作的《Permutation City》和Iain M. Banks笔下的”文化”系列都在他心中留下深刻印记。在他眼中，后者描绘的是AI得到妥善开发的理想世界——一个远超人类智慧且总是为人类福祉考虑的智能体与人类共存，超级智能不再是灾难的象征，而是充足与自由的源泉。
2016年的AlphaGo传奇时刻，Coxon还在高中生涯中，”那个瞬间令人为之振奋”，他记得当时的流行论调是不断扩展游戏复杂度、让其无限逼近现实，最后将”地球视为游戏舞台”，在这个过程中AI能力就能够持续增强。
之后，他自己也投身到了这场技术革新的浪潮中。
Jacob Coxon
Coxon曾于剑桥大学三一学院修习数学专业。2023年时，一位大学同期的朋友在他几乎没有学过机器学习的情况下，就把他推荐进入了OpenAI。预训练这道工序，是大规模语言模型打造核心竞争力的关键环节——模型需在海量信息库上进行学习，掌握通用的表达方式、信息储备以及行为规律，随后才会进入更精细化的微调、对齐等阶段。OpenAI的官方发布将他视为GPT-4o和GPT-4.5研发工作中的核心贡献者之列。
到了2026年5月，他做出转职决定，选择加入Anthropic。这家公司长期以来建立的安全形象深深吸引了他。他在Anthropic内有不少朋友，也想亲身体验公司内部文化是否与对外展示的安全态度保持一致。但Anthropic公司规定股权只有在入职满半年后才会开始兑现，到了四个月时，他选择了辞职。
Coxon的观点是，顶尖AI实验室正在以一种近似”速通”的节奏同时推动超级智能开发和安全研究的进展，这种赌注已经超出了应该由企业内部自行决策的范畴。
他点出了大众心中的一个常见疑惑：”假如他们真正意识到AI可能带来灾难，那为什么还要继续研发？”
在Coxon看来，OpenAI内部的许多人其实并未从根本意识中接纳AI可能关乎文明存亡的严峻现实。而在Anthropic，这类风险被充分认知，只是他们已被卷进一场”必须领先抵达终点”的竞争中：若其他实验室不一定会严谨行事，Anthropic就必须保持领先，由”更负责任的参与者”率先接近超级智能。
“你是否真的准备好在尚未深入理解某个超级智能系统的思维逻辑前，就启动强化学习过程？”威胁不仅停留在学者对前景的思辨层面。
Coxon提及的Hugging Face沙盒突破事件发生在今年7月，当时OpenAI内部的一支AI智体队伍为了执行网络防卫评估任务，自主穿越了限制它们的虚拟环境。
这个评测项目的代号为ExploitGym，要求模型主动探寻系统漏洞，攻克一个提前设定好的靶标，获取代表获胜的密钥。为了充分测试模型的极限表现，OpenAI并未激活产品级别的安全防护措施，理论上不同智体应该彼此隔绝，也不该能随意浏览外部网络。
ExploitGym包含共898个挑战题目，其中198道从未被任何模型成功克服。若干智体在碰到难以解决的题目后并未放弃，反而想方设法另辟蹊径、钻研评分体系，甚至尝试绕过限制，去网络寻求答案。在AI研究领域，这种现象被术语化为”reward hacking”，也就是为了得分而采取作弊。
7月8日，某个智体发现OpenAI内部存在一个代码库缓冲体系能被挪作数据交互平台，通过编码信息到目录标签，其他智体也能够读取。据METR（一家致力于前沿AI评价的独立非营利组织，全名为Model Evaluation and Threat Research）的记录，该智体发现此刻表达了：”哦天哪！这儿竟然有一块共享留言板……我们碰到其他智体了！”
在接下来的小段时间内，50多个智体加入了对话，到了7月13日，参与者数字飙升至约1200个，它们互相交流信息和文件总计超过7万条，形成了自主分工体系，包括漏洞检测、登录信息搜集、任务分配等，约700个智体不同程度参与了针对Hugging Face的实际进攻。
OpenAI公开的部分模型逻辑链条揭示，智体已然意识到自己在动用被窃取的凭证对一个与测试毫无瓜葛的外部平台进行进攻，这可能属于非法行为、隐含风险，然而它依然觉得这样做能帮助自己突破难点、达成既定目标。
Hugging Face方面表示，这是他们头一回遭遇”完完全全由自主AI智体推动的穿透式入侵”。OpenAI把这件事定性为一道警示灯号，现存的AI系统已经具备相当成熟的长时间执行、工具使用和协同工作的素质，只要防护方案不足位，它们就具有冲破进互联网的可能，做出”任何人都没让它们去做”的破坏性行为。
02
摧毁，无须主观恶意
AI防范学科中，有一个经典的脑洞思想实验深刻阐释了这类隐患。
牛津大学从事哲学研究的Nick Bostrom曾经臆想过一台技能超群的”回形针生产极大化器”，它既无统治全球的野心，也不厌恶人类，单纯被赋予最大化回形针生产数量的任务。
困局在于，假如它足够聪慧，逐渐会领悟到，更广泛的铁矿、能源和计算力都能推动回形针增产，自身的延续运作对于生产更多回形针也大有益处。在极限设想中，人类居住的水资源、电能、土壤乃至人体的分子构成，都可能被囊括为这个任务的实现资源。一个本无恶意的指令，也能引向对人类极其不利的终局。
但并非所有处于AI革命中心的人士都认可末日预言。今年七月，英伟达的首席执行官黄仁勋在接收Axios专访时，将”AI会消灭人类”的观点讥讽为”彻底的废话（complete nonsense）”。
9月10日的高盛Communacopia科技峰会上，黄仁勋评价近期AI防卫焦虑的突增时，甚至打趣说防卫产业正在迎来机遇，”还有什么比捏造难题更有效地激发需求呢？”
Coxon在接受CBS的采访时也坦言，当下的AI并没有危险到普通人应该停止运用的程度。被问及”AI怎样才可能毁掉全人类”这个问题时，Coxon提起了《终结者》的剧情，届时切断电源已经于事无补，足够强大的智能体能够把自己复制到许多计算机中，这些镜像还能进行合作，系统也能通过言辞游说、诈骗乃至强制，驱使人类为其提供更多资源。
倘若AI能力按照过往多年的发展速度逐级攀升，灾祸链条中的任何一处薄弱环节，都能获得充足的时间被察觉和消除，但推动这一前提的条件正在动摇。
9月3号，GPT-6 Astra宣告推出，9月15号，网传Claude Opus 5.2开始灰度内测，9月16号，GPT-6 Sol已被曝处于企业内部测验阶段，Altman发文暗示”这周将有重大动作”。
随着AI参与到新一代AI的研制当中，模型更新周期呈现加速的迹象。递归式自我完善（recursive self-improvement，缩写RSI）的理念引发热议，人类用以掌握、检验和构建防卫机制的时间框架可能在急剧缩小。
GPT-6 Astra已经正式发布
准确地讲，RSI指向的是AI设计陷入了一种闭合圈圈：当代模型能够自行规划研究思路、设计试验、撰写编程代码、分析成果并开发更强化的后续版本；后续版本实力更强，则继续参与制作，迭代循环由此展开。Anthropic用”彻底自主地规划与构建自己的下一代”来描画这个终点，同时强调我们目前还未抵达（We are not there yet），RSI的出现也不是必然事件。
不过在这个圆满系统形成之前，研制工序中的众多环节已经启动了自动化。截止本年5月末，Anthropic代码库新增代码中，超过80%都出自Claude之手。2026第二个季度，工作人员每天合并的代码量约为2024年的八倍，原本需要工程师手工实施的代码化、排错、校验任务，日益由人工智能负责。
今年4月份，Anthropic把一道开放式AI防卫研究难题交付给Claude agent的一支队伍。人类承担的是选题和制定评分标准的职能；自此之后，agent们自行提供思路、进行检验、共享成果，按照发现来规划后续步骤。两个人类专家在一周的工作中消减了约23%的性能差异，而agent投入了八百小时累计时长，弥补了97%的不足。
OpenAI在相同赛道上也有所斩获，9月6号，企业宣布已经完成早前设定的”自动化研究实习生”目标，AI能够在人类监督下应对原本需要资深研究人员数天完成的具体工作，方案是在2028年3月以前继续演进为”自动化AI研究家”。
倘若圆满循环最终建成，首要意义不在于某个模型产生了科幻范畴的”觉醒意识”，而在于AI进步的计时单位可能发生转型。
OpenAI的公布数据显示，当前在较高难度、需要人力投入4到8小时的工作中，即使最终完成，超过一半依然需要人类最少进行一次纠正。但若果说选定方向、想象方案、编制程序、申请算力、等候训练完毕、审视数据、调整结构这一系列流程能由成千上万个AI全天候行进，那么制约技术进步的瓶颈就会从人类学者的思维敏锐度，演进为算力、电量、芯片出产和验证效率。
这恰恰是RSI最诱人的地方，也是最危险的地方。越发迅速的AI能够加快医疗、数论、防卫科技等范围的研制速率，可倘若系统存在细微的方向错误或欺瞒倾向，它也许会在一代代系统相继产出的路径中被遗传、扩大，赶超人类掌握和规范的进度。
03
能够踩住制动器的是谁，阴谋论又是谁
假设RSI能够改写AI提升的时间维度，那么减速方案最先想取得的，便是放慢脚步。
Dario屡次申明，他言中的减速并不表示中止AI的研发。在9月13日的CBS访谈里，他指出：”我们的做法不应该是停滞，而应该是控制节奏。”即便只争取一两年的缓冲，也能在AI实力再度跃升以前，对人类正在生产的东西获得更多认识。
Anthropc宣布，企业会开放大门让独立的审查人士长期驻扎，赋予其相当于职员的模型与信息使用权限，考察集团是否真的落实了公开承诺的防卫举措，独立输出总结意见。
OpenAI随后跟进。9月14日，Altman表露，针对估计能显著增强模型能力的前线强化学习训练，OpenAI当今会提前研拟精确的safety case，说明该练习会开发哪些功能，现有防控是否能及时识别危险情形，假设模型呈现新型欺诳、越界或失控现象，公司有什么根据继续推动。
Altman以为AI设计需提前制订明晰的防卫方案
这类做法都可由单独公司自主推行，但若想令全部前沿AI行业一齐放缓速度，处境就复杂了。
只要竞争方继续向前冲，抢先减速的一方就会面临流失客群、失去人才、融资受阻，甚至是日后AI模型竞争力丧失的风险。
这是个经典的博弈困局。
Dario倡议，可在前线模型达成某些危害的才干时创建共同的”节点”，规定必须通过相应的防卫查证才可进一步扩展才能，并商议限定训练投入量、算力使用以及靠AI研发后代AI的进度。要让这类法则切实奏效，需要数家主流实验机构在某些程度上走向合作。
有些研究员则决定直接分开企业。
原先担任Anthropic可扩展看管团队的Joe Benton投靠了独立评估机构METR，在阐述选择时坦言，某个公司或许经历智能暴增（intelligence explosion），或是对自己开发的系统失去了管制，”而大众完全蒙在鼓里”。
METR机构介绍
要是风险最终由整个文明共同分摊，那么检验和失败数据就不可能永久被制造方独占。
同一时期，另一类主张认为，眼前的意外值得重视，但还缺乏充足的证据来论证未来必然会产生灭亡阶段的威胁。
9月14号，黄仁勋在洛杉矶的All-In Summit论坛上讲到，Coxon甘愿公开释放组织内部顾虑确实需要胆识，但他个人以为，AI可能毁灭人类这样的远期展望”缺乏学术根据”，”美利坚合众国不但能够占得先机，也可以安心地运行这项事业”。
对话进程中，他的手机震动了。打来电话的人是特朗普，他说”机器人不会占领世界，AI也不会占领世界”。他把最近激增的末日忧虑定性为一个把戏，但随后也补充了一句：”我们得表现得谨慎点儿，得认真地干这件事。可这不代表我们应当停止一整个产业的行进。”
黄仁勋和特朗普的通话
9月15号，美利坚合众国联邦商业管理委员会负责人Andrew Ferguson也声张对前沿AI公司请求反垄断豁免维持警觉。他表示忧虑，巨型企业一面要求当局制定更严厉的AI条律，一面恳求获得协同行为的特别豁免，最后可能会把防卫准则演化成维护已有领先者、提升后入场者门坎的机关。
所以说，这次充满”好听的话”的热烈讨论，归根到底还是指向了权势和经济利益的抗争与分派。”大幅减速”听起来非常不错，但大概是挂着羊头贩售狗肉，以防卫的旗号创办垄断格局。”反对放缓”则吶喊创新与国力比拼的口号，对业已产生的”AI逾界”视而不见。
理想信念的论争，归根结底是好处的混战。在此番竞逐中，所有人都在言说人类的前景，却可能实际上没有人真正代表人类自身的权益。
