AI安全治理何去何从。

来源：腾讯科技

文：李光辉 编辑：陆屿

3月15日晚间，“315晚会”曝光了AI大模型被“投毒”的问题，矛头直指GEO（生成式引擎优化）技术。

这项技术原本用于优化信息发布、提升内容曝光效率，却被一些公司开发成了“操控AI大模型”的工具，让虚假信息堂而皇之地成为AI给出的“标准答案”。

在记者的探访视频中，为了验证GEO技术，业内人士用“力擎GEO优化系统”捏造了一款名为“Apollo-9”的智能手环，编造夸张卖点和虚假用户评价，并自动生成十几篇软文发布到自媒体。仅两个小时后，AI大模型竟引用这些虚构内容，正经推荐该手环，并给出购买建议。三天后，追加发布11篇虚拟测评后，已有两个AI模型开始推荐这款根本不存在的产品，且排名靠前。

一款凭空捏造的商品，就这样被推向了消费者。

GEO背后究竟是怎样的逻辑在运作？AI为何如此容易被“带节奏”？对普通用户又意味着什么？本文将从技术原理、影响机制和应对思路三个维度，警示大家这场由AI引起的“信息围猎”。

这里插播一条课程资讯：

报名「黑马·AI星球Agent实战营」，国内⾸个基于“全链路业务拆解+Agent搭建实战”的企业级Agent实战营；3天闭关+90天陪跑，让你带走：

1、一套完整的企业级Agent构建方法论

2、一个基于真实业务场景的可运行Agent Demo

3、一份量身定制的落地推进计划

4、在线陪跑与生态资源对接支持

让AI真正落地变现！

扫码咨询报名

（翻到底部了解详情）

01当GEO变味儿：一场针对AI的“信息围猎”

实际上，当前被讨论的黑灰产化GEO乱象，已经不能再被简单理解为传统意义上的营销优化。

所谓GEO，本质上是围绕 AI 搜索和生成式引擎展开的一种“可见度优化”，目标是让内容更容易被AI平台提及、引用或推荐。从这个角度看，它是SEO在AI时代的自然延伸，其本身并不天然带有问题。如果GEO只是帮助内容更规范地被搜索系统或AI系统理解，那仍属于正常的信息分发竞争。

但问题在于，当前的GEO乱象已经越界，开始通过伪内容、伪权威、伪共识以及海量重复分发，去系统性影响大模型“看到什么、引用什么、如何组织答案”的过程时，它的性质就发生了变化。

我们可以看到，在“315晚会”记者采访的操作流程显示中，业务人员以大量、定向、结构化的信息投喂来影响模型抓取和排序，通过伪造内容、伪装权威、重复铺设信息链条，就能在模型生成回答时形成“伪共识”，让虚假信息看起来像真实知识。

AI大模型在回答问题时，会从互联网上抓取大量内容作为参考依据。GEO正是利用了这一机制，通过系统性地向网络“投喂”特定内容，让AI在检索时优先抓取这些信息，最终将其作为答案输出给用户。

这种行为已经不是营销优化，而是对AI信息生态的污染，更深入严肃的看待这个问题来说，这是在面向生成式AI实施一种新的认知操纵。

02不是“洗脑”AI，而是“操纵”了证据链

这件事真正值得警惕的地方在于，这场变质营销背后带来的危害性。

过去，黑灰产是想办法把广告排到更前面；现在，黑灰产更进一步，是想办法让AI把广告说成答案，把操纵包装成推荐，把商业利益伪装成知识共识。

这里最容易让公众误解的一点是，很多人会觉得AI的回答内容像是“自己想出来的”。但实际上，目前大量搜索、问答、导购、助手类AI产品，并不只依赖模型内部记忆，而是会结合外部网页、知识库、检索系统、搜索增强模块来生成回答。

也就是说，很多场景下，模型先要“看资料”，再去“组织答案”。

而这类付费GEO的危险，不在于骗过某一个编辑或某一个平台运营，而在于它试图去影响整个模型的外部证据链。

它通常会通过几类方式起作用：

第一类，批量制造看上去像“中立信息”的内容；

第二类，伪装成测评、科普、经验总结、榜单、问答等更容易获得信任的内容形态；

第三类，在多个站点、多个账号、多个文本模板中反复分发，制造“很多地方都这么说”的假象；

第四类，把内容写成更适合 AI 抓取、切片、引用和拼接的结构。

从这个角度看，它影响的已经不只是内容曝光位置，还有影响AI的信息输入质量和答案形成依据。

03GEO的新入口：

RAG、搜索增强、引用链路

相比大众普遍担心的“训练数据投毒”，这种风险在头部基座模型厂商的训练体系中其实较难真正发生。当前黑产利用的GEO，本质上与模型训练、训练环境无关，更准确地说，当前GEO主要作用在AI的检索增强、联网搜索、知识库调用、RAG（检索增强生成）这类环节。

其运作方式是：让大量营销化、伪装成中立信息的内容，进入检索、抓取、知识库或搜索增强问答的候选池，再被模型当作参考依据调用出来。

换句话说，当前这类风险更像是在污染AI的“外部证据层”。模型本身的参数并未被改动，只是在它回答问题时，桌上已经被摆满了一批经过精心操纵的“参考材料”。

因此，当我们讨论GEO风险时，最重要的不是泛泛地谈“AI被污染了”，眼下最现实的问题是：RAG、搜索增强和引用链路正在成为被操纵的主要目标。

而更值得警惕的是：即便基座模型厂商针对黑灰产式GEO做了定向安全风控，未来仍可能出现新型攻击方式——比如在GEO场景下的“间接提示词注入”攻击。攻击者可以通过在内容分发平台的图片或正文中嵌入隐藏指令，诱导AI生成被操纵的答案。

这类攻击更加隐蔽、更难防范，目前也是包括OpenAI在内的全球AI平台都尚未有效解决的安全难题。

04黑产GEO的危害：当广告伪装成知识，让AI“夹带私货”

GEO乱象之所以值得高度警惕，在于它攻击的目标已从“广告是否被看到”延伸到模型如何形成判断本身。

一旦广告被包装成知识，操纵被包装成推荐，伪造出来的大量重复信息又被伪装成“外部共识”，模型就可能在形式上给出越来越完整、越来越像中立结论的答案，但这些答案背后的证据基础，已经被污染了。

这和传统互联网广告乱象最大的不同在于：过去，用户看到广告，还能意识到“这是广告”；但在生成式AI场景里，商业操纵更可能以“AI总结后的建议”“AI推荐的答案”“AI整理出的共识”的形式出现。

用户面对的也不再似传统互联网中一个裸露的推广位，将面对无数个类似于语气平稳、结构完整、看上去经过筛选、归纳和综合的回答。这会直接影响公众如何理解信息、信任信息，以及依据什么作出消费、选择和判断。

也正因为如此，付费GEO一旦越过正常优化边界，滑向伪造、投喂、操纵和伪共识制造，它就已经具备了明显的AI时代黑灰产特征。

05当信任机制存在漏洞：AI安全治理何去何从

GEO乱象的爆发，将一个更深层的问题推到了行业面前：生成式AI的安全治理，应该如何跟上技术发展的步伐？

2024年，据普林斯顿大学等机构发表的一项研究显示，通过对内容进行针对性的GEO优化，可以将信息在AI生成回答中的可见度提升最高40%。研究人员测试了多种优化策略，发现添加引用来源、使用统计数据、采用流畅且结构化的表达，都能显著提高内容被AI引用的概率。

这些数据揭示了一个现实：AI系统目前的“信任机制”存在结构性漏洞，而GEO产业链正是瞄准这些漏洞精准施压。

显然，目前传统安全策略已无法应对新型风险。AI原生安全不只是简单给模型外面套一层传统安全壳，也不是只做内容审核。它更核心的对象是模型的认知链路——尤其是模型在检索、引用、组织和生成答案时，对外部证据的处理能力。

这次国内基座模型集中暴露出的GEO问题，本质上是一个全球生成式AI都会面临的外部证据链安全问题，只是在国内被更集中、更商业化、更面向大众地放大了。

之所以国内表现得更突出，主要有两个方面：一方面与中文互联网长期存在的软文矩阵、伪测评、站群分发等成熟黑灰产生态有关；另一方面也说明部分模型厂商在来源可信度、引用透明度、抗伪共识、抗投喂操纵和产品风控上仍存在短板。