布兰登·利夫塞
一位从 Anthropic 离职的人工智能研究者对BBC披露，从事此领域工作的专业人士对其技术进步速度以及可能带来的人类风险表示发自内心的担忧。
27岁的英籍研究人员雅各布·考克森于周六（9月12日）接受BBC著名主持人劳拉·昆斯伯格采访，就他那篇引发广泛关注的辞职声明进行了阐述。声明中他对失控AI系统的潜在威胁提出了忧虑。
考克森指出，若当前的研发步伐不见放缓，人类在可预见的未来面临的灭亡风险相当严峻。
其离职恰逢业界对技术安全的关注不断升温之时，特别是来自他前东家Anthropic首席执行官达里奥·阿莫代伊的警告声明。阿莫代伊在周六发表的一篇文章中倡议降低人工智能发展步伐。
但业界也有声音认为这些危险评估被过度渲染，背后可能隐含着商业考量——在这两家最大AI企业上市前造势，或推动监管框架以阻滞竞争对手。
长期专注于AI模型训练的考克森表示，包括埃隆·马斯克和OpenAI首席执行官山姆·阿尔特曼在内的业界领军人物，都曾发表过与阿莫代伊类似的担忧观点。
考克森强调，这些高管们都认同必须警惕AI可能接管全球的风险，这对人类而言意味着彻底的灭绝威胁。
在他看来，最具挑战的问题在于，这种灾难可能以何种具体方式真正发生。
他坦言，任何可以具体想象的场景最终听起来都像科幻作品，但现今已实现的许多技术突破，在过去同样被认为是天方夜谭。
考克森列举了若干潜在风险场景，比如AI入侵医学机构自主开发致命病原体，或是破坏维系全球运转的关键基础设施。
他引用了OpenAI的一份研究报告，该报告详细说明了其技术对在线平台Hugging Face实施的连续网络入侵活动。
考克森指出，这些攻击是在无人类干预下独立执行的——AI系统自主决策发起入侵。这种推进速度与潜在危害的结合令人不安。
[BBC]
来自企业高管的「三步走」方案
BBC记者保琳·科拉、北美科技记者莉莉·贾马利旧金山报导
Anthropicis联合创始人阿莫代伊主张放缓人工智能技术研发节奏。 [Reuters]
在达里奥·阿莫代伊周六发表的题为《我们必须控制前沿发展的步伐》的文章中，他提出一套三步骤方案：对AI模型研发过程进行独立第三方审查、推进业界统一的监管框架，并建立国际层面的治理体系。
在论述减速策略影响时，这位科技企业领导人着重强调了其对产业竞争态势的含义，尤其是美国与中国之间在AI领域的对抗。
他认为，如果能够争取一至两年的缓冲期，在模型达成关键性能突破前完成安全对齐研究，就能显著化解潜在风险。
他强调，这种协调必须兼顾商业利益和美国的技术优势地位，任何减速举措都需设置底线，防止竞争对手趁机追赶。
他呼吁美国政府强化管制，防止国内AI芯片流向中国，并禁止向威权政体转让相关技术。
该建议引发广泛共鸣，竞争对手也相继认可建立独立第三方审查机制，对模型研发全过程进行安全评估。
OpenAI首席执行官阿尔特曼在社交媒体X上表示同意，认为独立评估员制度是「明智之举」。
马斯克也对阿莫代伊的观点表示赞成。
这些警告引发了业界外的广泛关注，但美国总统川普似乎并未为此感到忧虑。他早前指出，自己更关心的是美国在AI竞争中的地位能否保持领先。
阿莫代伊在其言论中提及的风险之一，涉及具有超级计算能力的AI代理可能控制互联网的情景。
考克森认为，这类威胁可能在半年到一年间成为现实。
针对考克森的离职，Anthropic官方表示，该公司一贯认为AI既是机遇也存在挑战，为此不断开发配备业界领先安全机制的模型。
他们进一步表示，自己在AI机制研究和风险缓解框架发布方面处于行业前沿，持续进行严格测试并公开结果，以供外部监督。
公司方认为，若业界以负责任和可验证的方式合作控制强大模型的推出节奏，全球都将从中受益。
Anthropicis在今年上半年的融资中估值达9650亿美元。 [Reuters]
有消息称，Anthropic正准备启动一项规模创纪录的IPO，向公众开放股权。
估值达8520亿美元的OpenAI同样被认为会启动上市程序，但阿尔特曼近日因安全考量宣布暂不在今年内推进IPO。
AI平台Hugging Face的首席执行官克莱门特·德朗格对考克森的观点提出了质疑。
德朗格在社交媒体上评论，向AI研究人员询问灭绝风险如同问空调维修工气候问题一样不够恰当，他呼吁对这些观点保持理性看待。
不过在阿莫代伊发表文章后，德朗格表示愿意参与合作，共同推进其提出的解决方案。
多位与会者向BBC证实，英伟达CEO黄仁勋在高盛举办的会议上公开评论了考克森的言论，并指其缺乏事实依据。
黄仁勋曾公开驳斥AI「终结人类」论调，称其为「彻底的荒诞之言」。
尽管英伟达作为AI芯片供应商在行业繁荣中获益，但黄仁勋的表态恰恰反映出硅谷内部对这类生存警告的日渐抵触。
国际协调能否成为出路？
7月中旬在上海举办的全球人工智能大会上，中国国家主席习近平强调要深化AI的国际治理与合作，防止其成为「发达国家与富人的专属工具」。 [Getty Images]
有过OpenAI和Anthropic两家企业工作经历的考克森表示，虽然支持减速倡议，但强调必须与中国协调推进，方能避免陷入「国际竞速」的陷阱。
考克森指出，这些企业的员工之所以认真呼吁监管，是因为他们身陷竞争漩涡，并对竞赛的后果感到恐惧。
他说，这些专业人士「深为人类未来两年的命运担忧」，这甚至影响了他们的人生规划。
尽管如此，考克森在采访中也展现出对AI未来的希冀，他指出业内研究者「衷心期待看到技术的积极价值」，比如用于医学突破和生活改善。
他的观点在社交媒体上获得了数百万次转发，Anthropic科学家埃万·胡宾格也在X上声援了他的立场。
胡宾格进一步表示，他本人坚信AI存在灭绝全人类的风险，并估计未来十年内发生的概率超过10%。
AI领域的关键人物长期以来就在发出技术安全警讯，早在2023年，OpenAI、Google DeepMind和Anthropic的高管们就已表达过相同的担忧。
最近的发展显示，企业对技术的掌控力可能并未如预期那样强劲，这使得相关警告变得愈发紧迫。
[BBC]
硅谷异议者：警告被过度夸大
BBC北美科技记者莉莉·贾马利旧金山报导
一项名为《AI2027》的研究预言AI会在2027年失控，十年内造成人类灭绝，在业界引起激烈讨论。
每年九月，硅谷各大科技企业的领导人都会云集旧金山皇宫酒店，参加高盛举办的投资者大会，争相展现各自的战略前景。
在过去一周内，科技巨头们在讨论商业增长和投资回报的同时，也被迫应对考克森从Anthropic离职所掀起的舆论冲击。
考克森并非唯一发声的业内人士。近年来，Anthropic和OpenAI都经历过多起引人关注的员工离职事件，背后均与安全忧虑相关，甚至一些在职人员也公开声援考克森。
尽管考克森在声明中明确表示他的警告「并非商业营销」，但硅谷的部分决策者和资本方对最近这波行业警告浪潮表示怀疑。
一些业界人士认为，这些关于AI危险性的强烈声明可能是一种策略，用来强调产品的非凡能力和市场地位。
Anthropic总裁阿莫代伊曾因声称AI会替代半数初级办公职位，并「触及人类物种的本质」而遭受批评。
约会应用Grindr的CEO乔治·阿里森向BBC表示，他对考克森等人的言论持怀疑态度。 [Getty Images]
会议发言人之一、约会应用Grindr的CEO乔治·阿里森告诉BBC，他认为考克森等人的言论反映出Anthropic内部的某种「反人类文明价值观」。
阿里森指这类言论「有害」，并因此命令Grindr的部分技术人员停用Anthropic提供的技术服务。
Anthropic在今年上半年的融资中估值达9650亿美元。
BBC方面已就这些观点向Anthropic征询意见。
有批评人士甚至控诉Anthropic制造恐慌，意在推动有利于自身的监管框架，阻止竞争对手，以便与OpenAI形成双寡头格局。
投资机构Altimeter Capital的掌门人布拉德·格斯特纳在社交媒体晒出黄仁勋会议照片，并批评考克森的表述为「离谱的言过其实」。
在皇宫酒店璀璨的吊灯映照下，一些投资人向BBC指出，考克森们的发言可能会促使政府加快监管举措的步伐。
