在斯坦福大学的系统架构设计课程中，OpenAI首席执行官Sam Altman分享了正在发生的一场深层次变革：支付得起合理token费用的前提下，一名个体就能胜任曾经需要精锐百人团队才能完成的工程工作。如此之事，在初创公司的选择范围内曾属于空白地带，如今已然成为可行之举。他进一步讨论了「规模」所蕴含的奇妙力量、用户如何「挖掘」了ChatGPT与Codex的潜力、AI正逐步演变为如电力般的新型基础设施，以及为何在此刻押注LLM规模化的失败是最不应该做的决定。
以下为 Sam Altman谈话实录：
一、合理token投入下，个人可胜任百人团队的任务
在当下，若你愿意在token支出上投入相应成本，完成昔日需要一支极其卓越的百人工程队伍在创业环境中方能达成的目标，如今一个人就可以做到。过去这完全是无法想象的事，根本没被列入初创公司的可选范畴；如今这已成为具体的现实。
这意味着你能承担的计划规模、能够实现的进展速度、单次能够推动的事务数量，全都发生了截然不同的改变。这并非循序渐进的演变，而是可选项本身的彻底转变。
我无法说明为何这一现象会出现，对此也没有一套令我感到满足的理论框架，所以当向他人推荐这一做法时我会显得有些保留。然而从实践检验来看，这确实是真实存在的：在我从业经历中所见到的最富有趣味的案例，都与规模产生的意想不到的属性息息相关。
当某项事物在较小的体量下已经以引人入胜的方式运作，而你拥有将其扩展至前所未见规模的能力时，绝大多数时候这是一条正确的路，同时大部分人在实践中的投入远远不够深入。这条规律对AI模型遵循的扩展规律成立，对汇聚更多优秀智慧共同攻关某个议题成立，对企业与经济规模的发展也成立。
我是在Y Combinator的工作中真正领悟了这一点。那时整个行业都在议论Y Combinator的规模太大，应该缩小规模，每届只投资十家公司才最合适。许多极有才华的人都这样说。这种想法极具诱惑力，因为这样做能减少工作压力。但Y Combinator的成功秘诀很大程度上源自各届创业者之间形成的网络效应，这种特性只有在足够的规模下才会自然产生。在此之前，还没有人采用同样的方式在大规模上投资创业企业，所以也就没人能够察觉到这一点。
二、规模扩展的关键障碍：系统劣化的不可控性
为何规模化并不是人们常常去做的事，其中一个缘由在于：伴随规模的提升，问题会以越来越快的速度、越来越难以预测的方式出现。若要真正将某件事做到很大的程度，它在某些细节上总会存在小毛病。而且每次都会有极聪慧的人来劝阻你：不要让野心膨胀，不要搞这么大规模，我们先尝试小一些的版本。
从这个角度看，规模化本质是一项系统工程挑战。以我们对AI模型进行规模扩展为案例，当时需要回答的问题包括：从技术层面是否真的可行？过去没有人曾经尝试跨越一万或十万块GPU进行模型训练，这需要投入大量的工程能力；资本问题怎样才能解决？商业模式设在哪个位置？你如何能够承受如此高的风险？研究团队也会提出异议：既然掌握这样充足的算力，为何要全部下注在单个项目，而不分散投入多个项目呢？
把每一个难题一一分解开来，逐个击破，这是极为关键的。在几乎所有涉及规模化的领域中，这都是通行的解题方法。
三、人员管理最为关键：目标明确、方案清晰、决策透明
进行规模化扩张时，往往最具挑战性的并不在技术层面，而在于人员方面。当进行大规模人力组织与参与时，你拥有什么样的实践经验呢？
我的看法是：明确的愿景、详细的路线、清晰的执行步骤阐述，以及对过程中的决策方式进行明白无误的规定。这一点极为重要。
回顾我们选定深度学习规模化方向的决策。许多声音说这条路行不通，会遭遇这样那样的障碍，应该采用多元化的投资战略。但一旦我们说出：「不，我们的选择是坚定地押注深度学习的规模化。这就是我们前进的方向。假如我们判断失误，我们会失败，但我们就是要这样做。理由在此，我们深信到达那个目标后，世界会展现出怎样的模样。」这种清晰本身拥有巨大的力量。
此外，人类的演化过程中并未强化对指数增长的认知能力。人们很难在脑海中完整想象扩展规律会持续呈现指数增长、营收会指数增长、组织能够承担指数级的复杂度。根据我个人的体验，让人们从基础原理出发来推导「这为什么会发生」，需要投入大量的时间和努力。
四、ChatGPT并非设计出的产品，而是被用户「找到」的
我们先做出了GPT-3，随后需要获得收入来源，因为我们想要扩大到数十亿美元级别的计算资源。GPT-3不失为一个令人印象深刻的样品演示，但我们苦于无法找到围绕它打造的商业产品。我们进行了多次尝试，最终都失利了。我们意识到模型的能力会逐步提升，但同时希望尽快建立起收入流。因此我们决定：既然找不到合适的产品形态，我们不如先推出API接口，寄望于开发者群体能够想到相应的产品。
2020年的夏天里，我们发布了GPT-3 API。开始的一段时间内，它几乎没有获得什么热度。大约过了一个月时间，根据我们的理解，它某天突然在Twitter上获得了传播。在同一个时间点，几支不同的开发队伍利用它创意十足地开发出一些有趣的产品，发布在了网上，随后其他人开始尝试。
但如果你现在回过头去体验一下GPT-3或3.5版本，会对这些模型在那个阶段相对于它们引起的热情有多差感到震惊。创意者尝试了林林总总的使用方式，在实践中真正带来显著商业效果的只有文案撰写这一个领域。这个结果说不上多好，也激发不了太多兴奋感。我们彼时的想法是：唯一的办法就是等待能力更强的模型出现。
尽管只有文案撰写领域真正跑通，开发人员已经学会了输入一条提示指令，然后与系统进行对话交互。我们看到许多使用者无法用API来支撑商业项目，反而是用API密钥进行纯聊天式的使用。我们的结论是：用户群体显然是在渴望一个好用的对话机器人。
那时我们已经拥有GPT-4，但在此之前还有另一个已经预备妥当的模型，就是3.5版本。同时我们也找到了一种崭新的后期训练技术，让模型在遵照指令和进行聊天交互时表现得更出色。我们心想：API或许只能成为一个年收入数千万美元级别的业务，但有一件事是用户群体真实喜欢的。按照Y Combinator的法则——观察用户喜欢什么，然后朝那个方向走——我们就是基于这一点，围绕它构建了一个对话机器人。
我们在推出时坦白说还没有预想到它会成功到那样的程度。它最初更像是一项研究成果展示，意图是为了说服业界开发对话机器人类产品，进而购买API服务。结果它获得了极其疯狂的传播。
从Y Combinator学到的还有一个道理是：当某件事开始迅速增长，但它仍然不够完善时，你手中基本上掌握着一个注定会爆红的产品。有那么几天，访问量冲上来、回落下去，所有人都说「只是炒作浪潮罢了」；但隔一天峰值就更高了，再回落，人们又说是炒作。到了第四五天，我的判断就已确立：我们明白它会怎样发展，我们已经握有一个潜在的爆款产品。
到了第五天，我们把所有人集合起来宣布：这是紧急情况，但是一种好的紧急情况。我们得同时建设一个企业和打造一件产品。接着就是两个月的疯狂式扩张。至于商业模式，那可以往后推，先把钱收上来，至少防止计算基础设施的账单把我们压垮。显然这不是永久的解决方案，但当时的策略就是先让它运转起来。
五、Codex本是当初的核心策略：编程是AI改造世界的路径
其实在ChatGPT问世之前，我们最初的战略就是全力投入代码生成领域。我们很清楚这类模型具备写代码的能力，也深知那会是一个极具价值的应用场景。但我们那时内部的共同认识是：编程是AI用来操纵计算机的一种手段，机器人是AI用来改造物理空间的一种手段。只要你创造出足够高级的模型，赋予它编程的能力、控制机器人、驱动机器人执行器的能力，你就能够让这种智能在真实世界为人类服务。
我们花费了一段时间才实现这一目标。Codex已经在今年的上半年变得十分强大，但5.5版本才是真正引发质变的时刻，使用者开始用它完成一些不可思议的事。
现阶段的能力管道大体包括：前期训练、中期训练、后期训练，随后是强化学习与有监督的反馈迭代。我的观点是这确实构成了当前的管道，但我预期我们会经历一次彻底的架构重构。我无法准确预言什么时间、以何种形式会发生，但它作为一条「管道」本身存在，这一点本身显得有些奇异，似乎并非最优的设计路径。
最优的解决方案是什么？我认为这正是AI研究要去解决的问题。我们定下的目标是这样的：到今年九月份，用相当于50万块A100芯片的算力来实现一个AI研究实习生的角色；到2028年3月，建立起一个完整的、端到端的、天赋异禀的AI研究员，能够独立发现前所未有的架构设计。
所以说，借助当今的管道与架构设计，我们很可能会越过那个分界点：AI能够执行令人赞叹的科研工作。
六、AI转变为崭新基础设施：销售「智能」概念存在天然障碍
按我的理解，我们正在打造一种从未有过的基础设施类型。这样的现象并不多见。电力是基础设施，互联网是基础设施，水资源也是，这类东西真的不很多。因此，我们手边没有太多现成的类比或既往经验，来引导我们如何向全球阐释这一点。
我最近查阅了电力演变成基础设施过程中发生过什么。最初的电力企业并不去兜售「电」这种东西，主要是因为没人理解什么是电，也看不出为什么要获得它。听起来电让人恐惧：它会进到你家里，可能会伤害你，感觉与之前的生活世界完全相反。大概他们试图推销过电、进行过电的宣传，但收效不大。
后来他们改为推销的是：黑夜中的照亮。从我们这里你得到的并非电，而是夜晚被照亮的体验。顺便提一下，同一个东西还能做许多其他事。可人们会问：我为什么需要这个？他们回答说：有朝一日它还能帮你洗掉衣物上的污渍。人们答复：不行，那太遥远了，我接受不了。
我还没有想通AI所对应的「夜间的灯光」应该是什么东西。可即使我们的判断完全正确，智能会演变为每家机构、每一个使用者、每个权力机构都必须接入的全新基础设施，你将会拥有某种形式的OpenAI token订阅服务，把它插接到各种东西上，持续为你运作、实行各类令人惊叹的事务——至少从现在来看，我不认为用「我们在销售智能」来做比喻是对的做法，因为这不能引起人们的共鸣。
若我们要变成一种全新的基础设施形式，就必须想办法向普通大众诠释：具有这样一条智能通道，你能够拿它去做任何你想要实现的事情，这到底代表什么涵义。
作为普通消费者、商业机构或个人，最终你会以一种更接近token的方式来思考，甚至会比token这个概念更加抽象。你不会对硬件部署在什么地方、具体用的是什么处理器、什么设备供电等细节特别留意，这些细节会被隐藏掉。你所在乎的是：当我和这套系统进行交互的时候，我能大量使用它吗？成本会不会很高？性能如何？
目前，它看起来像token。伴随着我们进入一个时代——每一个人都拥有一个持续运行的代理、不断为我们出力、经常派上用场——你可能会想到更加高阶的描述。就像你交纳手机月费的时候，脑子里想的是「购买通讯服务和流量，获得整体系统的使用权」，不会去思考基站里具体的硬件细节、它怎样和网络相连。底部的硬件规格就这样被抽象掉了。
七、否定LLM规模化会失败，成为当代最具欺骗性的论断
关于Yann LeCun声称「LLM陷入困境」的说法：首先，在通往人类层级的通用智能这条路上，这些模型在某些方面的表现已经远远高于人的水平，而在另一些方面还相距甚远。比方说，在需要长期思考、深度判断的工作上，它们的表现似乎要比人逊色许多。
但换个角度讲，就在昨天，我们的某个模型查证并推翻了一个Erdős猜想，这个困难的问题许多聪颖的人已经思考了漫长的时光。许多智识高超的科学工作者，我也不确定LeCun是否在其中，甚至在最近仍然认为这种事情不会发生。然而模型就做到了。眼下数学家群体在提问：数学将走向终结吗？这对于我们所在的研究领域又意味着什么？
所以，LLM明确地具备找出新知识的潜能，明确地能够完成人类无法完成的某些智能工作。它们还会不断向前扩展。关于它们相比人类能够做得更好的工作面积会有多大，我们拭目以待，但我的预期是会有许多。
再加上我们前面提过的「对指数增长现象信念不足」，这个学科确实被一代研究者的思想所困扰，他们对于「规模扩张不会带来什么」这个观点过分确定。与此相对的是，还有一些人只是看着数据图表，说「这看起来还在很好地延续着，那就继续下去吧」。
世界的建模肯定是重要的，机器人相关的东西需要它。然而在这个时刻选择赌机器人去否定LLM规模化会行不通，我觉得这是非常有问题的判断。
八、给「一人前沿实验室」的忠言：深掘推理领域，让聪慧变得廉价且充沛
假设我也在这个课堂上，去做「单人前沿实验室」这样的项目，我会选择什么呢？
第一点，你们的项目很不错。如今许多极聪慧的人投入在训练方法学的探索，我们用不了多久就会获得让人咋舌的模型，我打包票。然而我认为我们在「大范围供应大量廉价的聪慧」这一面的投资还不够充分。
因此，或许我会去钻研推理层面：怎样才能把这种超群的聪慧变得便宜、变得丰富？我觉得这方面被投资所忽视了。而且，所有前沿实验室最终在很大程度上都务必转变为推理公司。
现在改变方向可能有点迟，但迟到总比不到好。做你真正想要做的。
结 语
这次对话描绘出了Sam Altman对规模、产品与AI未来的多个基本观点：单人加适当token支出就能做百人队伍的事；规模往往产生超出一般预期的涌现现象，可大多数人在推动它的力度上做得不足；ChatGPT与Codex的出世都源自于「看清用户爱好什么，然后为之设计」；AI正逐步演变为一类新颖的基础设施，但我们还没找到向世人表达它的「夜间的灯光」；现有的能力流程并非最佳方案，需要进行基础性的改造；面向指数增长的变化，要让自己的身份认同约束你对现实的看法。
如Altman所言：「假如你把自己的身份绑定在某个特定的事会成功或不成功之上，你就太过执着于自己的身份标签，就没办法放下，也就看不见事实的真实面貌。」这大概是指数增长时代对大家每个人最关键的一个启示。
来源：后浪进化星球
