在众多假想中，这一技术或将释放生物武器、引发无人机全球战争、引爆核武。或许它会以更隐蔽的方式摧毁文明——垄断全球财富，使人类无法获得粮食、居所与医疗。
这正是当下围绕人工智能蔓延的悲观想象。虽然该技术已证明为人类重大成就，但忧虑者认为它同时可能导致人类灭绝。
本周一则消息激起全球舆论涟漪：Anthropic的研究人员选择离职，声称所在机构及同业正在研制人类无法驾驭的超级智能体。
对AI潜在威胁的担忧确属理性。但当代世界的生存威胁何其众多——陨星撞击、瘟疫流行、热核对抗、温室效应、日冕物质抛射、生态崩溃、冰期重来，每一个都足以威胁人类未来。
科学家与政策专家的共识是：问题不在威胁本身——人工智能只是最新一个——而在人类天然的认知缺陷。
哈佛大学风险分析中心主任詹姆斯·哈米特说：”我们往往容忍习以为常的风险，却对陌生风险惶恐不已。”
驾车频率高于乘机，然而公众恐惧的往往是飞行。他指出，人工智能”尚未充分为人所知，也不在我们的掌控想象内”，因此激发了巨大的社会焦虑。
在科技界，不乏有人警示人工智能可能带来灭顶之灾。
从短期看，一些专家担忧AI可能被心怀不轨的非专业人士利用，制造病原体或毒物，造成大规模伤亡。Anthropic刚刚公布，公司成功阻止了数位研究者试图利用其系统开发生物武器的企图。
展望未来，悲观者认为，科技企业可能赋予AI系统更多自主权，连接互联网，甚至与电网、金融市场、军事系统等关键基础设施相融合。一旦联网，AI系统可能以无法预见的方式酿成灾祸。
当下，失控的AI系统可被OpenAI等公司直接关闭。然而，有人忧虑未来的系统或将抗拒人类的关停指令。
这些推测尚无现实依据。
华盛顿大学教授、艾伦人工智能研究所前首席执行官奥伦·埃齐奥尼认为：”我们离那个阶段仍然遥遥无期。若让我在’AI逃脱实验室并杀害百万生灵’和’病毒泄露并杀害百万生灵’中选择更该担忧的，我毫不犹豫选后者。”
历史证明，即便炭疽这样的生物制剂，也拥有毁灭人类的力量。
这种病原体源远流长，现代社会中，流氓国家将其视为生物武器开发的首选。学界早已知悉，一加仑炭疽若以适当手段散播，可能令地球人口全灭。虽然这未曾发生，但长期以来，人们猜测朝鲜与伊朗等好战政权掌握此物。
现代焦虑中，一个被忽视的事实是：对于蓄意威胁，最简单的威慑足以防止灾难。国家不愿释放炭疽，因为报复会至，使一次攻击变成自杀。这种互相制约形成了克制的力量。
成立于1989年的哈佛风险分析中心致力于帮助人们理性看待各种末世设想，尤其是那些无法用威慑手段阻止的风险——环保威胁与健康灾难。该机构运用决策学、经济学与风险评估方法，以期改进政策制定。
美国航天局则依靠超算来评估小行星碰撞风险。该机构总体结论是，本世纪发生生存威胁级别撞击事件的概率几近零。他们计算表明，未来千年内，地球应当相对安全。
那么，学识渊博的研究者如何衡量全球大流行可能导致人类灭绝的风险？
他们的答案是极低甚至接近零。牛津大学研究员托比·奥德在其2020年著作《悬崖边缘：生存性风险与人类未来》中估算，未来百年因瘟疫引发的灭绝级灾难概率约为3%。
科技业悲观主义者与航空风险评估者的差异在于：前者在该项技术展现其力量之前，就已持有末日观点。他们之所以将生存风险视为迫切问题，某种程度源于长期持有的信念。
“当这个亚文化形成之时，我就在场，”人工智能安全企业Embroidery创始人之一扎克·科曼提及自己在牛津大学的经历。那里是「有效利他主义」运动的摇篮，不少关于AI生存风险的忧虑由此萌芽。科曼指出，如今许多思考者仍在用「已讲述十余年的故事」来诠释一切。
然而，全球许多顶尖学者并不赞同此论。他们认为这些担忧被过度放大。硅谷外的科学家对AI风险持截然不同的态度。
牛津大学AI研究员布兰顿·德莫斯说：”这场讨论有既定框架——一个深度学习崛起前就存在、如今仍被沿用的框架。而我对此并不认可。”
奥德博士近期贴文总结了各类风险的发展方向：气候威胁下降，核风险上升。对大流行与AI，他的判断呈现矛盾——两者都发生了变化，但总体方向既非上升亦非下降。
专家认为，灾难与生存风险均可通过善的应对方案与预警体系而降低。面对明确迫在眉睫的威胁——比如一颗小行星驶向地球——人类很可能搁置纷争，携手共对。
奥德博士希冀实现他所谓的”生存性安全”。
他撰文写道：”这是一个假想的未来状态，在其中生存风险处于低位且能维持在此。”他强调，人类不仅要扑灭眼前之火，更要”建立机制，确保灾难不再构成根本威胁”。
