ChatGPT 的新 AI 图像生成功能上线仅两天，社交媒体上便已充斥着以日本动画工作室吉卜力风格的 AI生成梗图，埃隆·马斯克、《指环王》和美国总统唐纳德·特朗普都没“逃过”，甚至 OpenAI首席执行官萨姆·奥尔特曼也将他的新头像设置为吉卜力风格的图片。
大量用户正在将现有的图像上传到 ChatGPT，并要求聊天机器人以新的风格重新创作这些图像。今天，奥尔特曼在 X上发文表示：“看到大家如此喜爱 ChatGPT 的图像功能非常有趣，但我们的 GPU 快扛不住了。”虽未具体说明限制次数，但Altman 称该措施不会持续太长时间，因为他们正在尝试提升处理海量请求的效率，免费用户将“很快”能每天最多生成三张图像。
虽然后续 OpenAI 又宣布了对 GPT-4o 进行了更新，但显然人们的注意力还在“玩图”上。
“我认为，这个功能是过去半年里 OpenAI 发布的 GPT-4o 中最有价值的一个，它确实非常炸裂。相比之下，正式上线的Sora 以及后来连续 12 天的直播所展示的内容，大多都没有超出人们的预期。”原快手可图大模型负责人李岩说道。
与 SD 等模型比，
GPT-4o 赢在了哪里？
“昨天还在看 SD 教程，今天发现白看了……”知名开发者 Jimmy Cheung发帖说道，“今天情绪非常低落，压力非常大，我不清楚我现在做什么，是从现在开始到将来都还有价值的。”
李岩表示，这次 GPT-4o 火爆的关键在于实现了对话式图像生成。
实际上，基于自然语言指令的图像编辑能力之前已经有了，比如字节 SeedEdit 和 Google Gemini 2.0都具备相似能力。但在实际生成过程中，指令响应能力没有那么强，效果做得没有那么好。
例如在一致性保持方面，当要求去除背景中的某个物体时，模型可能还去掉了其他的东西；或者在对人物进行特定修改时，最终效果可能是不像原来的人了。此外，还存在指令不响应的问题，比如要求添加某些元素时未能执行。
但这次 GPT-4o 的交互方式所达到的文本跟图像的响应是非常精准的，大大超出了大家的预期。
李岩分析，虽然 OpenAI 没有发布详细的技术报告，但有一点非常明确：他们一定采用了自回归框架（AutoregressiveModel, AR），只有自回归框架才能实现如此自然的图文交互效果。后续大概率也接入了 decode模块后再做图像生成，但其整体框架已经完全统一到了自回归框架之下。
具体说来，Flux、Stable Diffusion等模型，现在的做法都是将文本表征和图像生成过程进行解耦，然后扩散模型出图。这种方式通常要先对文本进行完整表征，例如通过 CLIP或大语言模型提取特征，然后将该特征直接输入扩散模型，并要求扩散模型在生成图像的整个过程中持续参考这个固定的文本特征。
然而问题在于：特征提取完成后，信息量就被固定了。在文本到图像的生成过程中，100% 的原始信息都存在于用户输入的文本prompt 中，但经过文本编码或表征提取后可能只剩下 70% 的信息，这意味着后续最多就只能基于这 70%的信息量进行图像生成。
当前几乎所有图像生成模型都采用了上述模式。但可以看出，这些模型在生成文本表征时都会不可避免地造成信息损失，而这种损失一旦形成固定的embedding 或表征就无法挽回，这一阶段出现的信息缺失，后续扩散模型在生成图像时是无法回溯弥补的。
GPT-4o之所以强大，关键在于它能有效处理用户提供的简洁信息。例如，用户通常只会简单地输入：“帮我画一只小猫或小狗”，但不会给出具体是什么样的猫或狗。现在，GPT-4o统一到大语言模型的自回归框架下，所以天然具备了语义泛化能力。这种能力本质上源于模型本身的知识储备，使其能够准确理解用户简单文字背后代表的真正的、稠密的信息量是什么。
正是由于 GPT-4o拥有强大的大语言模型作为知识基础，它才能在完整的端到端框架中实现如此精准的理解和生成能力，这一点至关重要。
另外一点是，原来的方法仅支持单轮操作，即输入文字生成提示词，再通过特征提取生成图像，但无法支持多轮条件控制。
GPT-4o可以直接将图片按照上传图片的风格生成新图像，其中关键在于需要理解上下文中的具体指向，这需要大语言模型具备跨模态理解能力。在自回归框架下，上下文从纯文本扩展到了文本+ 图像，因此模型能轻松 get 上下文。
值得注意的是，从出图质量来看，目前基于自回归框架的生成效果并没有碾压式地超过扩散模型。李岩指出，这仅仅是就出图效果而言，我们更应该关注的是交互方式的差异。未来在交互体验方面，自回归框架显然具有更大的理论优势。
李岩还大胆设想，如果 GPT-4o 接入联网功能并整合 RAG 技术，其在图像生成方面的潜力将更加巨大。通过 RAG技术，模型可以直接检索到用户所指的网络流行梗或热点，用户就不需要再上传参考图片了。
是否会吞噬所有产品？
OpenAI 发布 GPT-4o 文生图功能后，Jimmy Cheung 的评价是：GPT-4o的图像能力，直接干翻了之前很多创业公司的产品，他们花了那么多时间、人力、投资人的钱去调优的算法、工作流、模型，直接被一次大模型的更新就取代了。
除了 Jimmy Cheung 吐槽“SD 白学了”，还有网友感叹，学了两年的作图工具流 comfyUI也白学了。事实上，对于像 comfyUI 这样的工作流产品而言，情况可能没有那么悲观。
“GPT-4o 目前为止 Ergebnisse 确实挺颠覆，但在真正的商业化可用的能力上，现在不太行，相当长一段时间还是要依赖comfyUI。”李岩说道。
比如，当前 GPT-4o 的出图大小并不能满足实际商拍场景里的需求，分辨率的提高会需要一些外接能力。另外，OpenAI在照片改换风格时是做全图的重绘，但在实际情况中，用户可能只需要改某一块地方，这样的需求就需要comfyUI 这类非常细粒度的工作流方式去精细化处理。
“对于轻娱乐场景或者要求没有那么高的批量生产场景，GPT-4o现在已经可以发挥价值了。但对于容忍度比较低、项目要求非常高的场景，未来相当长一段时间里还是要依赖comfyUI。”李岩总结道。
但是，GPT-4o 对于 Prompt 工程可能会是致命打击。
“Prompt 工程这件事有可能以后变得也没那么重要了。”李岩解释称，现在 Prompt对文生图、文生视频模型很重要，是因为整个文本侧和图像侧还没有办法做到那么强的 alignment效果。但实际上未来这部分工作如果能统一到 GPT-4o 的框架里，这份工作大家慢慢就不需要了。
在李岩看来，GPT-4o这次更加证明了工具型产品会更容易被大模型能力吞噬。
但显然，作为正在遭受“冲击”的 Midjourney 并不这样想。Midjourney CEO David Holz犀利指出：GPT-4o 的图像生成速度慢、效果又差，OpenAI只是为了筹集资金，而且在以一种不良竞争的方式行事。这不过是一时的噱头，并非创作工具，不出一周就没人会再谈论它了。
而早在 GPT-4o 掀起此次关于“大模型是否会吞噬所有产品”的热议之前，AI 科技公司 Pleias 联合创始人Alexander Doria就提出了“模型就是产品”的观点。他明确指出：所有投资者一直都在押注应用层，但在人工智能进化的下一阶段，应用层很可能是最先被自动化和颠覆的。
不过，就目前的大模型能力来看，大模型暂不能覆盖到所有的应用产品。但这种低门槛的使用形式，似乎正一步步瓦解许多现有的各类产品逻辑和形态。
结束语
大模型更多是在做技术平权这件事，就是让很多不懂技术的人逐渐都可以公平地使用大模型。在技术迅速变化的当下，每个人，甚至企业都很容易被迫进行战略调整，甚至转向。
李岩的建议是，首先，要明确自己在这个行业中的具体业务需求。其次，在实际工作中，每个人都应该采取两种策略：一是“低头走路”，确保自己对所用工具的理解和运用熟练；二是“抬头看路”，关注行业的发展和变化。
李岩认为，未来大模型的发展将深刻影响各行业的组织形态和人员能力结构。目前看来，底层能力画像的人会被大面积“吞噬”，接着是腰部能力的人群，而最头部的那部分人永远不会被大模型吞噬。
“所以，每一个人应该尽量避免做技术含量低的工作，而是慢慢往上去走。”李岩说道。
