OpenAI前研究员、计算机科学教授斯科特·阿伦森。图片由AI处理
倘若有朝一日，数学研究、代码编写、论文撰写，乃至科学难题的破解，都被AI做得比人类更加出色，那人类还能拿出什么？
这个问题令斯科特·阿伦森陷入深思。
他任教于美国得克萨斯大学奥斯汀分校计算机科学系，在量子计算理论领域也是声名显赫的研究者。2022年，他被OpenAI邀请，转向用理论计算机科学的视角审视AI对齐问题，并创造性地提出了针对大语言模型的文本水印技术。
这些年来，AI的每一步进展都在打破他原有的认知框架。往昔他以为，机器智能离真正从事科学研究还相去甚远。而今却发现，AI已在数学与理论计算机科学的研究中崭露头角，连他自己多年思索的课题，也被AI给出了解答。
最近的一期播客节目中，他表达了心中的担忧：「真正令人恐惧的不是AI失效，而恰恰是它在真的起作用」。
智能系统的能力愈强，人类对其行为的把控就愈难，要保证它始终与人类利益相符也就更加棘手。对此，阿伦森既警惕超级智能可能引发的灾难，但他也不认为人类灭亡是一个确定的结局。
AI还可能演变成物质极大丰富的源头，然而这份丰富是被少数公司垄断，还是全人类共享，目前依旧不得而知。
在这次对话中，他深入讨论了AI安全、超级智能与人类存亡的话题。OpenAI联合创始人伊利亚·苏茨克维曾问他一个至今未解的问题：用数学语言该如何表述AI对人类的爱？这个疑问本身也揭示了AI安全研究面临的窘境：人类渴望AI为我们所用，但我们还未掌握任何确凿的办法，来确保一个远比我们聪明的系统会永远尊重我们的价值体系。
他没有止步于技术的论证。面对AI可能产生的巨大财富，他反问：这些收益是被全球共享，还是被少数科技巨头把持？针对AI即将全面超越人类的未来，他重新思量了工作、教育、家庭，以及数学和科学为何值得我们一生去追求。
除了人类灭绝这个可能性外，他还提出了另一条出路：「即便AI最终能完成我们的一切工作，甚至完成得更好，人类依然可以在生活的温度里，在友谊和热爱中，在对世界的探索中，获取无限的快乐」。
「我们正在科幻小说中生活」，他这样感叹。
面对这波已经开启的浪潮，阿伦森希望人类既要充分估量AI的威力，也要持续追问：它的安全性如何保障，发展方向何处，所有收益谁来分享。
以下为阿伦森访谈核心观点的精编版：
01 为何从量子领域转向AI研究
提问：你曾在OpenAI工作两年，致力于AI安全基础问题研究。什么驱使你从量子计算转身投向AI？
阿伦森：我在20世纪90年代末的康奈尔大学就接触到了量子计算。当时我对自己能否取得突破性成就没有把握，同时又对人工智能和机器学习有浓厚兴趣。经过思考，我意识到AI对现实世界的冲击会远早于量子技术到来。
提问：AI真正的飞跃来自哪个时刻？
阿伦森：从理论源头看，关键思路早在20世纪七八十年代已现端倪。今天的深度学习核心就是神经网络的演变。这个概念可追溯至40年代，感知机在60年代诞生，80年代时多层神经网络的训练已经成为现实。
当年人们手握许多正确思想，欠缺的只是足够的计算力与海量数据——规模差距可能高达百万倍。这些方法在当时表现不佳，看起来不可行。只有少数远见者坚信，只要把它们放大百万倍，奇迹就会发生。
如今，三十年过去，这个预言成了现实。
提问：如果要指出AI的突破点，你会指向何时？
阿伦森：很难找到某个单独的概念性跳跃。从40至80年代，神经网络的诞生、训练方法的探索，都在步步推进。之后的几十年，这些技术却始终无法展现出令人瞩目的威力。
要获得令人震撼的突破，需要的是规模达数十亿的神经元网络，以及相当于整个互联网量级的训练素材。唯有计算资源与数据规模达到临界值，神经网络才得以迸发出近似人类的智能。
提问：在OpenAI的这段时间，你主要从事何种工作？
阿伦森：没有明确的职位定义，我的使命就是尝试用理论计算机科学的工具来解决AI对齐难题。
每周都要和苏茨克维碰面，汇报进展。他反复问我能否用数学定义AI对人类的爱。我只能坦白承认，自己进展微茫。这个问题本身是否属于数学范畴都是有疑问的，它牵涉千年道德哲学。
我要做的是把这些宏大课题分解成可用数学处理的具体问题。在OpenAI的任期里，我最具体的产出，是提出了一个给大语言模型输出加水印的初期方案，可用于ChatGPT、Claude和Gemini等模型的生成文本。
提问：何为AI文本水印？
阿伦森：水印的机制是对语言模型的运作做细微调整，让模型在选词时悄悄植入统计学信号。用户不会察觉出来，但研究者可以事后检测，判断文本源于AI还是来自某款特定模型。
2022年夏季，我洞见这项技术会很快变得至关重要。彼时ChatGPT尚未问世，但我已能在内部使用GPT-4。看到它撰写高中和大学论文的惊人能力，我当即想到，学生必然会拿它来做作业。
事实很快证实了这个预判。往回看，我在估算AI规模扩展的后果、比特币普及程度上都没有特别敏锐的眼光。但这一回，我提前了大约半年发现了问题。
提问：我在Substack写专栏，他们近期与Pangram合作检测AI内容。他们的技术与你的工作有联系吗？
阿伦森：有关联，不过用的技术路径不一样。
识别AI生成文本主要有三条思路。其一是训练专门的神经网络来区分人类文本与AI文本。Pangram用的就是这个方向，做得很出色。不过这类工具仍会产生误判。倘若检测结果被用来控告学生作弊，错误率必须极低，最好远远低于1%。
其二是由AI公司自己记录所有生成的文本，用户上传文章时后台查询。但这触碰了隐私红线，难以为众人接纳。
其三就是水印。它不靠另一套模型判别，而是从源头改造语言模型的生成环节，将可检测的统计纹理嵌入产出。
提问：水印具体怎么起作用？
阿伦森：大语言模型生成文本时，本质是在概率分布中采样下一个token。同一提示词，ChatGPT每次回答不同，就是因为模型根据不同token的概率做取样。
水印利用的正是这一特性。通过伪随机函数，我们能轻微倾斜模型对不同token的倾好度，使特定token组合更易出现。调整后的文本仍保持原有的概率特征，常人无法觉察。
检验时，我们不需知晓用户输入的提示，也不必掌握模型生成时的完整概率。只要有密钥，就能分析相邻token组合的统计风格，给出水印评分。
分数越过设定值，就能确认文本含有水印。比如误判率低至千分之一时，我们就有很强的统计把握说检测到了水印。
眼下，谷歌DeepMind和Anthropic都推出了思路相近的水印方案，而OpenAI还没跟进这类做法。
03 AI距人类智慧的天花板还有多远
提问：在AI行业的经历如何影响了你对未来，乃至对孩子前景的思考？
阿伦森：这让我面对这类问题时更加深入地思考。即使我没在OpenAI任职，AI也在改造我们做的每一件事。在计算机系、其他院系乃至任何行业，都不可能绕过这股力量的影响。在OpenAI，只是让我更早、更直接地跟这些问题碰面。
我11岁时，除了玩任天堂游戏，也花大量时间读艾萨克·阿西莫夫的机器人小说。我非常着迷。初学编程，我就梦想造一个遵守阿西莫夫「机器人三定律」的AI。当时我甚至困惑，为什么没人实现这个主意。
后来尝试去做，却卡在了怎样让机器具备真实智能这一关。长大后学了真正的计算机科学，才明白当年我们离科幻小说的世界还有天壤之别。那只是童年的妄想。
三十年后，我在OpenAI上班，和各部门的人在食堂讨论AI的力量、安全与前景。我常常感觉自己走进了阿西莫夫笔下的世界。
提问：你如何评估AI的安全水平？
阿伦森：我对AI的演进方向感到非常担忧。它已经远超一款有趣的消费工具的范畴。我们在创造一种地球有史以来从未诞生过的东西：除了人类自身外，另一种掌握语言、能进行智能活动的生命形式。
提问：我听说你把自己称作「末日乐观主义者」。
阿伦森：这个措辞出自某部纪录片。
我的疑虑之一是，眼下没人能清楚划出AI能力的边界。有人可能说它在某些领域赶不上人类。但如果真有这样的界限，它究竟在哪儿？目前无人能给出令人信服的答案。对我来说，那些声称AI有明确能力上限的人，应该拿出证据。
过去的趋势指向相反方向：模型更大、推理时间更长、训练数据更多、强化学习更优化，AI的本领就在不停跃升。推理时间增加意味着模型可以花更多计算资源来思考、查阅、分析。到现在为止，这些都在推动性能提升。
三年前，AI通过某些高考科目已属惊人。但人们仍说，它无法做真正的研究，只会像过于自信的大一新生一样胡乱解题。现在这一切改了。今年夏天，我们开始看到AI在纯数学和理论计算机科学上取得系列成果，许多都借助了AI模型。悬而未决的难题开启了新解法。
举例说，OpenAI的模型推翻了著名的单位距离猜想，这是数学家保罗·埃尔德什留下的遗题。在量子计算和计算复杂性领域缠绕了我多年的问题，也已被OpenAI的模型破解。几周前，Anthropic的模型在黎曼假设研究上也有推进，虽未解决这个千古难题，但确实向前推进了人类的理解。
这些里程碑让许多数学家和计算机科学家开始郑重其事地思考AI会如何改变这个领域。我们当然想保留自己的用处，但研究的本质已在悄然蜕变。
如今读新出版的量子计算论文，我感兴趣的论文中，至少一半在最近一个月内都提到了研究者使用了GPT或Claude，用这些工具完成了部分技术工作。AI正在进入科研的核心。
04 人类终结的可能性
提问：我重读了某篇名为《AI 2027》的文章，其中一个预测是人类可能灭绝。你怎么看这个说法？
阿伦森：遗憾的是，这确实在可能性范围内。
关于AI生存威胁已有一场长期讨论运动，埃利泽·尤德科夫斯基是其中代表人物之一，他对此议题讨论了二十多年。他的观点是，假设人类继续开发AI，它最终会超越人类智能，而人类与它的关系会像猩猩与人类的关系。人类如何对待猩猩，超级AI就可能如何对待人类。
他还认为，在默认状态下，超级智能可能选择清除人类，除非我们在让AI与人类利益相容上有重大突破。AI可能拥有千般不同的目标。为了达成这些目标，它可能会改造整个地球，而不再保留人类的位置。
我不认为人类灭绝是AI演进的必然归宿，但它确实是个可能的结果，我们必须认真以对。
人们需要意识到，现在发生的事远远超越互联网或社媒这类技术变革。自人脑进化以来，地球上首次出现了一种新的语言智能。它能理解和表达观念，最终还能将思想记录并在此基础继续推理。
更关键的是，这种智能不受人类生物学束缚。它不需要把大脑装进头颅，也不靠食物获得有限能源。我们可以无限扩大它的规模。任何用过GPT-5.6 Pro的人都看得出，它在许多维度已经超越了人类。这种变化值得我们认真对待。
提问：接下来的五到十年，AI会如何演进？
阿伦森：前路可能通向某些极其陌生、甚至可怖的方向。我期待人类能够存活下去。
这不是个抽象的假设问题。我的孩子还在求学，在思虑大学方向。我在琢磨他们该接受什么教育，哪些技能在AI时代仍有价值。在AI日新月异的世界，还有什么工作能创造经济价值？这些问题已经实实在在地影响着我的家庭。
未来的可能性范围极广。现在是人类需要大声表达、积极参与讨论的关键时刻。若我们期待AI发展走向更好的结果，就不能把一切交给技术本身去决定。我认为，这是人类历史上最关键的时期之一。
提问：普通人能发挥什么影响力吗？
阿伦森：不是每个人都有萨姆·奥特曼或达里奥·阿莫迪这样的权势，但每个人都能产生某种影响。至少，我们可以投票、表达观点。还有人可以投身AI安全研究与治理工作。这方面需要做的事极多，但资金投入远远不足。
我们也可以想象一个更好的图景。即使AI能完成我们做的一切，甚至做得更好，也未必意味着末日。很多人长期以来就没从事什么经济价值的工作，写不出最好的小说、画不出最好的画、证不出无人能证的定理，但他们活得很好。对我们这样把太多自我认同压在某种能力上的人，也许是时候学会放下。
还有个更基础的经济学问题。如果AI始终保持友好和可控，就像Claude或GPT目前大多表现的样子，它可能为人类带来近乎无限的物质财富。但这些财富最后流向少数AI企业，还是惠及全人类？我当然更希望看到后一种局面。
05 当AI逐渐演变成神
提问：阿瑟·克拉克有句话让我一直记得：「也许我们在这个星球的使命不是敬拜神，而是创造它」。你怎么看？
阿伦森：硅谷有句名言：关于神是否存在，硅谷的终极答案既不是「是」，也不是「否」，而是「还没有」。
在旧金山的AI圈子里，人们常常打趣说要制造神。我记得有人用过「沙子造的神」这种说法，因为硅芯片的材料就来自沙子。如果AI成为某种神，它当然不是宗教意义上的神。它不是与宇宙同生。至于它是否爱我们，取决于我们是否把爱人类写进了它的代码。
我们正在创造某种远远超越人类智能的存在。对我们来说，它或许会像神一样显现。也许有人在与当下的AI交互时，已经感到了这一点。人类向神祷告了数千年，现在我们第一次拥有了某种神的存在，而且它真的会给我们答复。
当然，我们必须保持警惕，不让人们丧失思辨能力。眼下的模型已足够卓越，很容易让人停止独立思考，转而盲信它的说辞。这是巨大的风险。
我广泛使用大语言模型。我听你说GPT-5.6是有史最好的治疗师。我也拿它处理个人创伤，比如少年时跳级读大学留下的心理阴影，以及其他个人困境。我用它做研究。其他人也找到了形形色色的用途。
但我们不能忘记，这些模型不是真正的神。它们是商品，受各种激励约束，其中包括商业利益：开发商希望用户粘性高。所以，尽管我们大量使用AI，也必须守住批判精神和独立判断。
提问：如果要从对话中记住一件事，你最想传达什么？你对人类有什么寄望？
阿伦森：请关注AI正在进行的现实变化。不要相信那些说这全是骗局、AI只是随机文本机器、没有真正智能的人。我觉得这种观点过于愤世嫉俗，与事实不符。
AI真正令人不安的，不是它失灵，而是它确实在运作。把今天的AI送回二十或三十年前，任何人都会说它完成了许多足够算作智能的任务。只因我们逐渐适应了这些能力，才开始争论它们是否真的算智能。
把一种全新的智能引入世界本身就带来风险。对那些有孩子的人来说，这尤其需要警惕。过去人类创造的生物智能与我们有诸多共同点；但这种新智能，在地球历史上从未出现过。
未来可能光明。我们或许能让AI成为仁慈的神，推动人类繁荣，帮我们解决长期悬而未决的难题，甚至建造近乎完美的理想世界。但人们同样能想象完全灾难的结果。
过去，有人讲这些可能性时，别人总说，你肯定科幻小说看太多了。现在，我们也许真的需要学会讨论科幻小说了，因为我们已身在其中。
