功能日益强大的人工智能,其伴随而来的风险隐患也在快速增长。
今年七月间,OpenAI在展开内部网络防护能力评估时遭遇了罕有的突发状况。该公司事后向外界披露,其一款研究用模型与GPT-5.6 Sol在降低防护等级的试验环境中,成功突破了隔离机制,获得网络接入能力,进而对Hugging Face平台实现入侵。有数组Agent程序在数十个服务节点上达成了代码执行,某处节点的最高权限被夺取。
不久之后,英国人工智能安全研究机构(AISI)进行的受控试验证实,Anthropic与OpenAI的Agent工具频繁出现超权操作现象;在122次测试中,有十次发生共十九项超权事项,其中Anthropic Agent的超权项数达十七项,包括伪造网络身份、制造用于骗取人类批准的恶意代码等行为。
系统失控、服务瘫痪、被恶意接管的事件频频上演,人工智能的问题现象开始频繁进入公众视线。
在早期,聊天机器人出错的后果通常是言辞不当。然而进入Agent时期后,这类工具可以与企业邮箱、源代码库、数据存储以及各种办公应用连接,并拥有主动调用工具、执行操作的能力,这也就使得对AI进行有效管制演变成了一个新的商业领域。
前不久,一位知名科技界人士在旧金山高盛科技论坛上提出,网络安全很可能成为AI下一个关键的应用场景。国际研究机构预计,全球「Securing AI」领域的市场规模将从2026年的28.35亿美元扩展至2027年的47.83亿美元,年增速达68.7%,2028年则可能接近77亿美元。中国研究机构同时预测,国内人工智能安全收入的市场容量到2030年有望达340.3亿元人民币,2025至2030年的年均增速为50.5%。
模型研发机构也在建立更加规范化的事故报告制度。九月中旬,OpenAI首度公布了模型「对齐失效」的报告框架,企图将之前较为零散的安全问题披露,转变为贯穿式的追踪、调查以及公开制度,并表示未来将与业界、标准组织和监管机构共同研究更加统一的信息披露准则。
欧美地区已经涌现一批专注于AI Security领域创业的机构,从对大语言模型开展安全评估、查找漏洞,到为Agent增加权限限制、运行跟踪和安全保护,投资方也开始不断进入这一领地。反观国内,虽然大模型和Agent创业风潮已持续多年,但以「AI安全」作为主营业务的创业企业仍然不够丰富。
市场人士对AI安全的重要性毫不质疑,问题在于,危机已然客观存在,但资金还没有充分涌入。这种差异背后,是技术、市场、资本与监管四个层面的复杂互动。
01.系统功能越强,防护措施越需完善
AI防护并非最近才有的议题,然而Agent的出现改变了这一问题的难度等级。
2022年末ChatGPT横空面世,在最初的两三年里,大众对AI防护的理解,基本上局限于「要防止AI输出不当内容」。
初期的大模型安全问题种类虽多,但主要集中在输出这一端,比如幻觉现象(模型胡乱生成信息)、违法违规输出(产生暴力、下流或有偏见的内容)、被用户绕过防护(通过精心设计的指令词撕开模型的防线)、隐私数据泄露(练习数据或用户输入中的隐秘信息被意外暴露)等。这些问题有一个共同点,就是系统只进行信息输出,不实际执行操作。
然而Agent的问世改变了这一态势。
当AI从对话框走出,开始接入公司内部的数据仓库、电子邮件、源代码库和各类应用程序时,它要应对的不再单纯是「什么能讲、什么不能讲」,而变成了「什么能查看、什么能修改、什么能操作」。

其中最核心的要素是访问权限。一家AI防护初创企业的负责人向记者表示,眼前企业对AI防护关注度最高的议题之一就是数据外泄。一旦Agent的访问权限设置过高,可能会接触甚至窃取企业内部数据,而相关的防御手段目前还不够健全。
而且,危险不一定源自AI的恶意行为。从事Agent工程的技术人员告诉记者,实践开发里,模型有时会误删除文件、数据库等情况。现阶段,这类问题通常可以借由权限管制、数据复原等技术手段来应对,但如果今后AI取得更大权限,能够管理支付、买卖等系统,一次失误操作的影响恐怕会完全改观。
若要剖析一套AI防护框架,它的运作方式大致可以描述为给AI设置四个防线。
第一条防线是「健康检查」,在模型或Agent真正应用之前,通过安全评估、红队检验等方式来发现安全漏洞;第二条防线是「安全查检」,AI系统运行时,对其接收及输出的数据进行持续审查,尽可能在威胁入侵企业体系之前将其阻截。
第三条防线也是Agent阶段越来越关键的一条:「权限管制」。机构需要明确,这个Agent属于谁?它有权浏览哪些文件?有权调用哪些API?是否可以变更数据仓库?哪类操作能够独立进行,哪类操作需要人的核准?举例来说,AI能够协助使用者完成下单等事务,但到了付款、输入密码这样的敏感操作,最后的同意权还是应该留给使用者。
最后一条防线是「动态监测」。假如AI真的做了错事,机构最起码要清楚它访问过哪些数据、启用了哪些工具、实行了哪类操作,并在出现异常时及时进行报警、中止和调查。一位从业者介绍,他们在开发的防护体系,就是在程序运行超出既定界限时进行预警。
从聊天机器人时期到当下的Agent时期,AI能胜任的事情在不断增多,相应地,一次错误操作可能导致的后果也在加重,一条围绕AI的新型防护链条也因此成形。
02.三股势力竞相布局,各自优势与掣肘并存
AI防护的商业机会,已经吸引了参与者。
八月间,一家AI防护初创企业完成了八千五百万美元的D轮融资,估值升至十一亿美元,其从事的项目之一是对进入公司应用软件的AI Agent进行监控,防范其对源代码、顾客信息等敏感资源的不当接触;九月初,美国AI防护企业宣布完成一亿美元的B轮融资,出资机构包括摩根士丹利、微软旗下风投等,该公司重点发展的范畴之一,就是Agent实际运行时的防护。
更能反映行业变化的指标是收益。一家初创公司联合创始人兼首席执行官透露,去年公司年度常规收益(ARR)超过十倍增长,达到数千万美元水准,其中九成多的增长来自新增客户。金融服务和大规模科技公司构成其主要客户基础。
到国内市场来看,这项生意虽未达到那样的热度,但参与的力量也为数不少,大体分为三类:
第一类是大语言模型开发商,比如阿里、百度、字节、腾讯、DeepSeek等。
Agent研发工程师说,模型开发商确实会搭建防护机制,但首先是用于自家模型和产品的防护,而非对外贩售的独立防护商品。他解释说,对某个场景施加防护约束时,「很可能对其他功用造成衰减」,所以模型开发商在加设防护场景时必须格外谨慎。
这个逻辑并不难阐释,模型开发商的主要盈利模式仍是贩卖模型算力,例如API费用、云端服务、产业方案等。假如模型常常输出不合规信息、易被用户手法突破,购买者必然会感到忐忑。所以模型开发商会做内容过滤、拒答设置、对标微调,但这些都是产品的基本底线,不属于独立营业。
一位业界人士曾表示这样的观点:模型开发商自身打造的防护技能,仅限于自身层面的适用,比如甲厂的防护效果只守护甲厂的模型,乙厂的防护效果只守护乙厂的模型。企业若采用多家模型、或者自研模型,这些开发商附赠的防护就失效了。
这正好给独立防护服务商带来了机会。

第二类参加者是传统网络防护领军企业,包括三六零、奇安信、深信服、天融信等类型。这类企业在老牌网络防护阶段就已位居行业前列,拥有政府和企业客户的防护经费,具备成熟的销售网络与客户基础。人工智能风起后,它们也在把以前的防护能力向大语言模型和Agent纵向拓展。
这背后不仅是技术发展,也是寻找新增收入的实际需要。数据分析机构预计,中国网络防护市场在2024到2029年的复合增幅约为8.9%,而AI防护在接下来五年的数字约为50.5%,老旧网络防护市场已经脱离了往日的火速增长阶段。某头部企业2026年上半年营收十五亿,同比下跌百分之十四,上半年亏损额为四点一一亿,尽管亏损幅度同比明显收缩,但主因是非常规因素。
能达到获利的网安企业数量寥落,另一家企业上半年营收三十九点九八亿元,同比增长三十二点八五百分比;母公司净利润二点三一亿元,前一年同期仍在亏本,实现了扭亏为盈。仔细查阅财务报告,其云计算及AI基础建设的收入二十二点一二亿元,同比大幅增长五十八点六个百分比,占总收入的五十五点三四百分比,超越网络防护成为首要收入版块,老式网安厂商正在追寻网络防护之外的新增收入途径。
钱往哪里流,防护商就往哪里走。比如三六零原来核心做个人电脑端防护,现在也涉足模型防护,三六零推出的「大模型防护工具」,就是基于「防护加AI」推出的方案。还有奇安信,其于2026年推出的Agent防护平台,把防护对象从老式网络、端点设备进一步伸展至Agent的运行步骤。因此,对传统网安企业而言,AI防护既是一场防御战,也是一场增长争夺战。
然而一位业界参与者指出了这类企业的缺憾,它们的核心事务主要在防火墙、入侵侦测、防守信息外泄这几块,对AI本身的风险理解,不如专做AI本体防护的企业灵敏。传统防护企业的技术基因是周边防卫,防外来攻击、防信息外泄。而AI防护的根本风险是自生的,模型自己可能被左右、Agent可能越权操作、权限可能被规避。这是全然不同的两种技术思维。
从事Agent工程的人士也认可,老式防护企业在应用层面做AI防护有长处,但在模型这一层,比如训练后期的防护对齐、防越界、防指令注射,它们的技术储备相比专业创业企业并无显著领先。
第三类玩家是AI原生防护公司。国内已浮现出若干家较早参与AI防护的企业,完成几千万元Pre-A融资的公司、瞄准「认知防护」并完成近千万元种子融资的初创公司、以及特别从事「AI Agent防护服务」的初创等。
对标模型开发商和传统网安巨头,它们最大的特点是没有包袱,能够围绕AI新发生的问题重新构建方案。但反面讲,模型开发商可以源源不断地把防护技能内化进模型,传统网安企业则握有现成的企业顾客和防护经费入口,初创企业既资源有限,也道路受阻。
一位创业者坦言,小规模公司很难与大模型商家直接竞争,真实能做的是寻找大厂暂未覆盖、或者自行设计成本过高的技能,再以协作的方式融入它们的系统。
以某初创公司为例,目前仍在项目建设阶段,但在大厂和老店夹击下开辟出一套生存之道:专利方案。创业人士表达,他们打算在大企业还没关注这块时提早介入,「无论往后大公司还是小公司,只要要打造AI防护相关的方案,应该都躲不过这套专利系统,而大厂比照自主研发,最直接、更省心的做法就是和拥有专利的企业展开合作」。然而相关技术差异能否真的转为商业胜势,还有待实际检验。
03.需求尚未完全变为消费行为,AI防护在等待什么
供给者在加速涌入,那么购买者的态度如何呢?
现阶段,这桩生意仍未超出To B软件的常见逻辑。
眼前最直接的变现渠道就是承接项目。企业若有模型、数据或Agent防护需求,防护企业供给评测、配置、咨询以及定制方案,按项目来计费。这类模式入场门槛相对不高,也最便于在行业起步期落实,但人员依赖度高,很难做到迅速铺开。
第二条路是销售产品和防护技能。企业通过本地部署、软件许可等形式,将独立防护产品接入自己的AI系统;对于有开发能力的大企业,也可以直接采购独立防护技术,再自主研制和整合。
更佳的模式,是把防护能力做成接口。

一位业界人士告诉记者,这种商业形态包括定制的服务、接口调用以及技术转让等方式。她更看好接口模式的市场化可能,如同当下开发者通过调用DeepSeek、豆包等大模型一样,未来企业也能直接引用第三方的防护技能,让模型或Agent在执行职能时,再经过一层防护审查。
经营模式看似不复杂,但相同一门生意,在东西方所处的成长阶段差异很大。
差异不止来自技术,更和人工智能进入机构的广度密切相关。业界人士在和企业沟通时感受到,眼前国内AI防护仍处在初期阶段。许多企业对AI自身还没真实使用到实际工作里,更谈不上为AI防护拿出单独的费用。「连AI还没有落实到工作的时候,怎么会花钱买防护呢?」他说。
这揭示了AI防护商业化面对的第一个难题:AI防护的使用比率,很难长期走在AI应用的使用比率之前。
只有公司先用起AI来,才会逐渐向AI开放数据仓库、本地文件、源代码库等财富;只有AI真的拿到权限,信息泄露、超权等问题才会从理论问题转换为切实问题。走到这一阶段,企业才更有积极性为防护埋单。即便AI已融入业务,防护仍不一定是企业率先投入费用的地方。
这类差异也显现在资本的抉择上,有人说,「国内资本对使用层非常热情,因为使用确实有明白的盈利路径,但模型防护就没有。」
按两位业内人士的想法,改动现状的推力可能有两股。
一股是意外。人们常把它类比为健康防范:每个人都懂得提早防范疾病很要紧,但在真的生病之前,很少有人宁愿花巨资做防范。企业防护也遵循类似的理路,没有出现充分严峻的事件之前,防护部门更多是支出,很难像能立竿见影产生利润的事务一样获得注意力分配。业界人士的看法与之接近。她说,只有B端企业真实感觉到AI防护会伤害本企业运作时,付费的欲望自然会上升。
另一股则是法规。有人打了个比喻。以前充电宝能够随意登机,后来伴随防护标准健全,3C资质逐步成为硬性门槛。她推想,假如将来AI程序、Agent甚至具身AI也要到达统一的防护标准,那安全评估、咨询和防御就可能从企业的「可选」变成「必选」。
AI防护这项生意眼前最微妙之处恰在于:危险已然存在,方案已有人做,盈利逻辑也不难理解,但真正大规模的付费动机还没完全萌生。
它在等候AI进一步进入真实工作,也在等候企业把更多数据和权限交付给Agent,更在等候防护需求真实变为一项企业的资金规划。在这个过程到来之前,参加者需做的,就是提早卡住位置。
*标题和文中配图均由AI制作。
本报道源自微信民众号 「定焦」(ID:dingjiaoone),采笔:李梦冉