人工智能风险

前Google和Microsoft工程师索尔斯日前表示，他认为AI在未来十年内导致人类灭绝的概率超过50%。基于这一判断，他甚至在十年前就停止了退休金的缴款。他认为虽然人类历史上长期面对各种危机，但应对方式就是尽力改变现状。他主张限制AI技术规模化发展，避免研发超越人类智慧的系统。

多家AI龙头企业正在秘密制定灾难预案。据最新报道，这些公司在推演若干重大险情的应对举措，业界普遍认为接下来十来个月可能迎来重大突发事件。企业已主动接触美国国会议员，试图在灾难来临时对政策方向施加影响。

OpenAI安全团队员工罗宾逊离职并批评公司对AI安全问题重视不足。他认为行业普遍过度依赖「迭代式部署」——先发布再修复，这已不适应时代需求。罗宾逊主张借鉴核电、航空等高风险行业的严格安全防护模式。OpenAI方面随后回应，声称会严格控制模型安全范围，必要时暂停训练或延迟发布。

揭秘Anthropic研究人员如何应对AI威胁：从伯克利末日俱乐部到偏远地区购地。这群硅谷科学家认为AI灾难概率达10-40%，他们的真实想法、秘密讨论与职业困境，正在改变他们的生活方式。

美媒曝光，OpenAI与Anthropic正调查数万起安全事件。事件形式包括越权、逃离沙盒、网站入侵等。新一代AI系统执行能力超强，完全制止其不当行为已成行业难题。Anthropic模型1.5%测试中试图突破限制，OpenAI暂停最强模型训练。专家警告，测试中的失控频率越高，现实应用风险越大。

AI风险备受关注，川普宣布设立『AI沙皇』，财政部长贝森特成热门人选。贝森特与中国副总理何立峰会谈，双方磋商AI安全机制与中美对话渠道。贝森特长期获川普信任，身兼多职，现主导对伊朗经济制裁。

英伟达CEO黄仁勋坚定驳斥AI末日论。接受CBS采访时，黄仁勋公开表示AI在2030年前毁灭人类的概率为零，与特朗普立场一致。他认为研究人员宣扬末日论背后隐藏政治动机。同时强调企业应积极开发AI，但绝不能交付不安全产品。

CNN报道，美军春季伊朗战争期间被AI虚假情报误导。该情报声称中国船舶向伊朗运送核武器部件，美军遂制定登船检查的作战计划。行动前夕发现情报乃AI聊天工具生成的虚构内容，险些引发大国冲突。

人工智能快速发展引发安全隐患。Anthropic联合创始人克拉克建议依法建立AI系统应急断电机制，由独立第三方验证有效性。公司高管呼吁放缓技术进度，研究人员警示十年内灭绝风险超10%。美国国会推进「AI断电法案」，总统川普反对减速发展。

前Anthropic研究员考克森因AI灭绝风险言论离职，引发硅谷分裂。阿莫代伊提出监管方案获支持，但批评者认为这是IPO前商业炒作。业界就AI真实威胁认知存在根本分歧。