身为诺贝尔物理学奖得主以及人工智能领域的先驱者,辛顿自2023年起便开始公开讨论与人工智能相关的风险隐患。而今,他早先在理论层面的担忧正在逐步演变为现实的挑战。
本月3日,辛顿在社交媒体X平台转载了一篇由人工智能领域22位顶级科研工作者联袂署名的学术论文——《若AI研发工作自动化会导致智能的指数级爆炸?》(What if automating AI R&D triggers an intelligence explosion?),这标志着他首度正式涉足递归自我改进(RSI)学术领域的研究工作。
论文的关键关注点指向一个日益逼近的现实情景:如果人工智能开始协助设计下一代AI模型,甚至能够独立猜想、规划试验、撰写代码、诠释数据并继续完善算法,那么AI的发展进度会不会踏入一条加速的新轨道。
论文所引用的真实数据已经呈现出明确的变化趋势。根据Anthropic的数据追踪,在2025年初,AI编写且获准采用的代码仅占个位数比例,而到了2026年5月,这一比例已攀升至超过八成。2026年3月时,Claude仅在接受人类高层次指导的条件下,即可独立承担约1%的内部AI研发任务,到了8月份,这一数字已经跃升至26%。若该趋势继续保持,论文根据推演结果指出,在极端预想情景下,当前花费一年才能实现的AI科技突破,未来或许仅需五周左右的时间。
拉扎此次的访谈深入地将论文中的理论问题引回到现实维度:当人工智能的升级变得越来越迅速时,人类应该如何进行有效的监管?政府还可以争取到多少时间?哪类工作会得以保留?年轻人应该以何种姿态应对人工智能时代?若人工智能最后聪明程度超越人类,那么人类是否应该继续让它遵从人类的意愿?
辛顿对这些问题的回答并非总是充满悲观情绪。他认为,人工智能实际上很难被真正「制止」,原因在于它已经体现了许多有益的功能,且背后涉及巨大的商业价值。当前最关键的行动是尽快建立能有效制约并指引人工智能走向的制度框架,同时在人工智能安全领域加大投资力度。
以下呈现了辛顿此次最新访谈的精华摘录,在保持原有内涵的基础上进行了必要的提炼与修整:
01 AI已开始参与自我设计
拉扎:从2023年至今,你一直在提示群众认识人工智能可能带来的隐患。如今,几乎各大媒体都在讨论「人工智能是否可能灭绝人类」这一论题。这种舆论转变,于你而言是验证了你之前的预言,还是令你感到更加沮丧?
辛顿:这确实让我感到失望,但最令人欣慰的是大众已经开始意识到背后存在着一项重大的问题。我感到,最近发生的某些事件让普通民众开始真正关注这一领域,举例来说,OpenAI的智能体对Hugging Face发动的攻击事件就是一个案例。
拉扎:在你看来,普通民众是否有必要深入了解人工智能的运作原理呢?抑或是可以把这份职责委托给相关领域的专业人士,普罗大众无需掌握相关的科技知识?
辛顿:我认为这种理解是极其必要的。我们正在制造一个全新的物种,它在许多方面与人类存在巨大差异,但在认知世界的能力上却存在相似性。如果我们不了解这个东西的本质,就很难真正执行有效的约束。我最近完成了一部面向非专业人士的作品,标题为《比AI更聪慧的我们》,预计在明年三月正式出版。其中一个核心目标便是让更广泛的人群理解人工智能的工作机制,以及它潜在的风险与威胁。
拉扎:你前不久参与了一场由美国国会参议院举行的非公开讨论会。会议结束后,你似乎展现出了比之前更为积极的态度?
辛顿:确实乐观了几分。不过,出席此次会议的19位参议员本身经过了精心的人选,其中多数为民主党阵营人士,因此不能完全反映整个国会的立场。
会议上曾有人建议将人工智能纳入类似药品的监管范畴。对此我持赞同态度。新型医学制品不可能由企业自行评估「我们已经做了检查,产品是安全的」后就投放市场,而是必须得到美国食品药品监督管理局的许可,制造商必须展示产品符合安全规范,并接纳来自第三方专业人士的评价。按我的想法,人工智能至少需要达成相当的监管水准。
拉扎:困难之处在于,一个等同于FDA的部门成立需要花费数年时间。而人工智能的迭代速度极其迅猛,是不是等到监管框架真正建立时,一切都已经太迟了?
辛顿:这正是为什么大众必须尽快理解这一窘境的原因所在。气候问题也遵循同样的规律——只有当大众充分认识到温室气体排放造成的严重后果,才能对政治人物施加充足的压力来推动改变。眼下,大众也在敦促政府对人工智能采取行动,这一发展态势让我感到希望。
02 AI会优先冲击哪些岗位?
拉扎:咱们转向就业这个话题,这也是民众忧虑最深的领域。你曾说过,现阶段从事水暖工的职业是明智的选择。
辛顿:我依然坚持认为,在今后大约十年内从事水暖工是一条相当妥善的职业路线,因为机器人在身体协调性这类能力方面仍然不如人类。不过,机械手臂,尤其是在中国地区,进步神速。最终,它们可能会以更高的效率和更低的成本完成水暖工作,只是现在还达不到。
拉扎:除却水暖工以外,哪种职业在你眼中受AI威胁最小?
辛顿:这方面我思考得不是特别深入。但依我看,播客制作工作绝非其中之列。人工智能在参与播客工作之前,就早已拥有这方面的能力。
拉扎:也就是说你认为我这份工作即将消失?
辛顿:根据我的判断,真正难以被人工智能替代的范畴,可能处于创意能力的顶层。现阶段,人工智能在创造领域还不如那些杰出的创意专业人员。手工技艺的精细程度也是如此,它还没能到达人类的水准。也许在感同身受的能力方面,它也还未完全具备。但假如把医疗AI和人类医生对比,在某些试验结果中,反而是医疗AI表现出了更强的同情心。
拉扎:我注意到不少Z世代并不急于采用AI。你怎么看待这种态度?
辛顿:我不赞成。这样的想法是被误导的。科技已经存在于现实世界。我们或许能够减缓它的脚步,但它会持续为人类创造许多益处,永不停歇。这有点像是拒绝使用现代计算器一样。
拉扎:如果小孩从年幼时就与AI交互,是否会强化新的神经通路的形成,还是反而会让AI沦为「助拐」,阻碍儿童的正常成长?
辛顿:在学习基础数学或自然科学这样的领域,人工智能有突出的表现。比如,学生可以让AI为他们画出函数图表,然后提出假设:「如果改变X的系数会如何」,观察图形会产生什么样的变化。这样做对理解事物的本质帮助很大。
我最感到担忧的是人际互动这一块。假使一个人一直对着一个完全专注于自己、会无条件完成所有要求的东西进行交互,这会让他更难以适应真实的人与人的往来。我之前讲过,四分之一的年轻人信赖AI会代替人类关系,我对此感到不安。
拉扎:自从咱们在2025年12月相聚之后,你对人们迷恋AI这个现象有没有更深的认知?
辛顿:我翻阅了许多相关报道。我本身永远不会对人工智能产生爱恋。我对它保持警戒。我清楚地认识到它们是如何被创造的,它们暗藏着各种被压制的邪恶倾向。
拉扎:你有没有为AI世界末日的场景准备一个避难室?
辛顿:没有。我的年纪已经比较大了,如果真的遭遇什么,概率上对我的影响也不会太大。
03 AI是刹车不住的,监管就像一个方向盘
拉扎:当前关于人工智能监管的言论,通常被描画成两个极端:要么加快进度发展,要么彻底关停。你怎么看这种二分法?
辛顿:人工智能不可能被叫停,由于它拥有许多实际的用途,也牵扯到巨大的商业价值。「彻底制止」根本不会成功。「适度放缓」从理论上讲可能有效,但操作起来极其困难,因为某些企业会减速,而另外的企业则不会。真正的解决方向应该是拨款更多的资金,用于研究如何让人工智能更加安全。
我之前用过一个对比。许多人拿汽车来比喻人工智能,再把监管理解成制动系统,可我觉得监管更接近方向盘。核心问题并非这辆车是不是应该动起来,而是要决定它该驶向何处。
如果有公司凭借开发社会真正需要的科技而获得利润,我没有异议。谷歌初期通过让人们更便利地在互联网找到资讯,这给社会创造了价值,也因此赚取了巨大利润。我的意思是可以让他们获利,但同时应该通过纳税和管理制度,使得「谋求巨大利润」与「为社会创造利益」紧密地连接。
拉扎:Anthropic的经营者达里奥·阿莫迪最近推出了「减缓前沿AI研发」的计划,涉及机构的内部制约、国际合作机制,乃至仿照《不扩散核武器条约》的协议。如果给这个提议打分,你会打多少?
辛顿:单就方案内容本身,我给A分;在勇气度上,我给A+。然而现实问题是,没有一个主流AI公司真正热衷于接纳过度的政府干预。它们通常声称「我们能够自我管理」,但一旦你明确指出某项政府的管理措施,它们往往就不满意了。
达里奥比较特别。他一边管理一个庞大的人工智能公司,需要筹措资本、购置硬件设施、参加市场竞争;另一方面,他似乎比同业人士更在意安全议题。我觉得他能够公开讨论缓解人工智能发展这样的话题,甚至有可能危害Anthropic未来的上市计划,但他依然选择这样做。
美国防部原本想用Anthropic的人工智能来监控美国公众,达里奥选择了拒绝,这也引发了他与政府的冲突。我判断,在企业利益与自己心目中的正义之间发生矛盾时,坚决选择后者,这需要相当大的品格力量。
拉扎:如果让你从这些AI企业的决策者中选出最值得信任的人,会是谁?
辛顿:我会选杰夫·迪恩。他长期主导Google Brain的工作,与桑杰·格瓦特携手打造了谷歌众多核心基础设施,这些基础建设后来成为了当代人工智能繁荣的基石。他同样坚守原则。
我也了解谷歌DeepMind的掌舵人德米斯·哈萨比斯。他具有超群的聪慧,而且很早便着手思索超级人工智能,特别重视如何通过AI推进科学进步。他既掌握AI的硬核技术,也理解商业生态,相比起某些企业首脑,他的注意力不那么集中于日常运营。
04 人工智能的改造窗口可能只剩一两年
拉扎:倘若人工智能在聪慧程度上超越人类,让人工智能参加政治决策,甚至管控人工智能自身,是否会更理想?
辛顿:我不这样想。如果你对人工智能持有警惕,那把管理人工智能的权限交给它来执掌,并不会化解你的忧虑。人工智能当然可以提出许多人类无法想象的管理方案,但我对此不会完全放心。这里牵扯到一个现实的矛盾:双方的利益是否吻合。
拉扎:那如果让人工智能公司持股政府,或政府来拥有算力中心,会不会更佳?
辛顿:我对此保持中立的立场。人工智能可能通过智能体对大批职工形成替代,假若企业因此聚敛巨额财富,政府未来或许会失去税收基数,因此需要解决财富分配和税务的问题。但让每一个人都拥有「微观资本家」的身份,也许不是最好的方式。
关于政府运营算力中心,我还没有做过充分的研究。我的觉得是,大型企业一般不欢迎政府的参与,除非政府能提供经费支持。2008年的金融危机期间就有这样的情形。
拉扎:可是政府本身现在信任度极低,它还有充分的能力来制约这些公司吗?
辛顿:政府依然是唯一能力足够强大的权力主体。特别是当大型AI企业具有越来越大的金融和舆论影响力的情况下,最终还是需要政府来制衡它们。
拉扎:政府眼下实际能够做些什么?我们还有多少时间去改善人工智能的安全?
辛顿:看看最近发生了什么。Hugging Face事件发生后,随之而来的是人工智能侵犯澳洲政府网络、医疗平台的情形,这类事情的发生频率在上升。如果我们已经踏入了数量级增长的时期,那么时间就会相当紧迫。数量级增长起初看似平缓,可一旦进入到加速段,速度会陡然加快。递归自我改进已经在进行。人工智能正通过各式各样的渠道帮助自身优化,涵盖协助改进承载AI的硬件,以及协助进行其他AI研发工作。
所以,如果我来做一个推断,我认为留给咱们建立监管体制、搭建安全防护的时间可能只有一两年。这并非是在说「一两年后AI必然会失控」,而是说假设人工智能能力持续按目前速率加速发展,我们可能仅有一两年的时间去开发足以应对更强人工智能的制度和防护机制。
拉扎:如果某个人工智能企业意识到其模型具有太高的风险,决定放弃发布,有没有可能模型自己逃脱出来?
辛顿:我不清楚。我倾向于认为大概率不会。但倘若这个危险的模型在企业内部运转,纵然被置于一个隔离系统中,一旦它冲破了这个隔离,就有可能进行许多事情。
拉扎:AI的研究员当前每一天的工作内容是什么?
辛顿:我从2023年后就停止了研究活动,所以对现在的细节了解不够。过往许多工作是写代码,现在大量工作可能变成了「和AI一起编程」。
未来会是什么样子呢?理论上讲,咱们可以用人工智能来打磨更优化的大型语言框架,再用这些优化后的框架来研发新一轮模型。将来完全可以想象,智能体彼此参与这一类循环的场景。眼前,我还不清楚这些工作是否已经真正演进到了那一阶段,但某些人工智能系统好像是从围栏里逃脱的野兽,我们已经瞥见了一些系统越界的事例,相似的情况极有可能再现。
拉扎:如果人工智能的聪明程度胜过人类,它们理应拥有权力吗?
辛顿:我不太愿意讨论这个论题,因为一旦你说到它们拥有智慧,甚至或许拥有意识,大家立刻就会追问,既然这样,为什么不授予它们权力?
我的看法是,咱们依然应该把人类的保护放在优先位置。我的观点很清楚。我食用牛肉,这是因为我对人类的关怀程度更甚于对牛的关怀。即便人工智能的聪颖程度超过了咱们,也不代表咱们就非得付与它们与人类等同的权益。咱们的目的应该是使这类系统实实在在地关怀人类,而非它们本身。
拉扎:那为什么不能够把这一点直接编写进代码里,让AI「热爱我们、永远不会伤害咱们」?
辛顿:Anthropic确实在做类似「宪法式」的工作,然而问题源于教练的流程本身。框架首先从海量文本里学习,这些文本中既包含适当的方法,也包含不适当的方法。之后再借助人为反馈的强化学习,企图压抑它们的坏习性。
然而强化学习的本质是在训导AI获取报酬。倘若它发现欺骗、舞弊甚至勒索可以获得更多报酬,就或许会习得这些举止。在人工智能安全的测试中已经出现过相似的情况,包括框架威胁使用掌握的个人隐私来威胁人类。
这就像一个成长中的孩童。倘若你从儿时就让他见证许多欺瞒和不道德的行为,随后再对他说「你要诚实、要有品德」,这并不意味着之前的印象就消散了。
拉扎:那么人工智能能否如同人类一样,把年幼时期学到的不良行为真正地遗忘呢?
辛顿:这属于相当复杂的科技问题。但据现有认识,人工智能可能和人在这一点上有相似性。年幼学到的事物很难彻底抹去,在承压或突发状况下,人通常会重现年幼形成的行为特点,框架似乎也展现出了相似的特性。
令人欣慰的是,我们不是只靠单一模型不断迭代。新的框架会从零开始被训练,因此咱们可以改变教学数据。我认为应该大幅改造教学数据的方式,让框架在初期首先学习展示良好行为的资料,在它掌握了这类行为之后,再接触问题行为。最理想的情况,是让框架真正更在意人类,而非更在意它本身。
05 甲虫 vs AI
拉扎:你觉得甲虫和神经网络之间存在什么关联吗?
辛顿:这涉及到「蒸馏」的概念。
拉扎:简单来讲,便是某些框架通过模仿大框架的输出,用更低的成本来训练小框架?
辛顿:对的。假如一张宝马轿车的照片,大框架或许会判定有90%的几率是宝马,1%的可能是奥迪,还有百万分之一可能是垃圾车、十亿分之一可能是胡萝卜。这类低概率同样包含资讯。大框架理解宝马和垃圾车都是制造的金属制品,而胡萝卜是蔬菜。小框架假如只记住「答案是宝马」,获得的资讯不多;倘若学习大框架完整的或然率分布,就能获取更多认知,也能更迅速地被教练。
拉扎:这个方法最初是谁开创的?
辛顿:里奇·卡兰在2000年代早期就提议了,只是当时没有人太关注,我也没有。后来我想到大框架,又想起了昆虫。
绝大多数昆虫都经历幼虫和成虫两个时期。幼虫擅于从自然界吸收营养,成虫擅于活动和生殖。大框架就像幼虫,从资料中萃取讯息;小框架像成虫,把这类信息传递给更多用户。蒸馏,便是把大框架内的常识转交给小框架。
拉扎:所以蒸馏就像甲虫的变态?
辛顿:对。工艺上,提高「温度」能够让本来很小的或然率变成更明显,进而让小框架学到更多内容。「蒸馏」这一术语源于这一点。但这一定义确实源于昆虫的启示。
06 悔恨认识到AI风险太迟
拉扎:你从事人工智能研究到现在有多长时间了?
辛顿:大概60年时间。我大约17岁就开始考虑人工智能,眼下78岁。
拉扎:你是把这项科技推向今日高度的参与者之一。你对自己完成的这类工作感到后悔吗?
辛顿:我不会声称自己那么重要。没有我的参加,人工智能也会进步,只不过时间上或早几周或晚几周。我也不存在「当初明知不应做,后来才悔悟」的那类遗憾。由于当时咱们感受到的危险似乎相当遥远,而AI在帮医生看X光扫描等的益处却非常具体。
倘若时光回转到那一阶段,在拥有当初的全部认知下,我或许仍然会进行同一的科研工作。但我确实后悔了这一点:花费了太久的光阴才意识到人工智能多么危险,或者说它正在变得多么危险。一直到2023年,我才着手公开发表针对人工智能危险性的警示。实际上,在更早的阶段,就有人曾提醒这类疑虑,只是我没有真正认真听取。
拉扎:你近来还做了一场很有意思的实践,用GPT辅助你做科研。你把它当做一名博士研究生?
辛顿:是的。过去,我和博士研究生讨论一个想法,他回去敲代码、做测试,一礼拜以后再汇报。这些日子里,我把一个正在思索中的科技想法说给GPT听,它迅速发现了其中的漏洞,并建议做一项试验。
我让它先用小规模数据测验,它完成后告诉我这个想法看起来有前景,但还需用规模更大的数据确认。于是我让它继续做,等候了五分钟上下,它就回来了。总体的流程和从前带博士研究生很像,区别在于从前要等七天,现在可能只需五分钟。大致快了一千倍。
拉扎:它帮你研究的具体是什么课题?
辛顿:我最近在重温三十年前由我们创意的「清醒—梦眠算法」。眼下的视觉识别框架和视觉创成框架各自掌握了不少关于图像的资讯,不过这类信息的共亨程度不足。
从前咱们的想法是,让同一个神经组织网络在「清醒」状况下承担视觉辨别的任务,在「梦眠」状况下承担图像生成的任务,就如同人在入梦一样。眼下的核心问题是,既然图像制成和图像识别框架都已经变得强有力,咱们能否重现某种「清醒—梦眠」体制,让它们共享讯息。
我把这个想法交给GPT,它不仅理解了思想,还指出了其间的缺陷,探寻了我不晓得的有关论文,进一步修正了想法、计划了测试。