大模型公司造了个搜索引擎是专门过滤掉AI批量生成的垃圾...

寂静回声

10月17日，DeepSeek宣布自研的Search和Fetch两个API正式上线。注意，是"自研搜索引擎"。
一家做大模型的公司，不去卷参数、卷榜单，反而砸钱重造了一个搜索引擎。它最核心的卖点听起来甚至有些黑色幽默：专门过滤掉AI批量生成的垃圾内容。
翻译过来就是大模型把互联网弄脏了，现在大模型公司自己动手，把这摊脏水过滤一遍，再喂给自己的模型喝。自己污染，自己净化，闭环了。
以前做垃圾内容是有成本的，营销号再能编，一天也就憋出十几篇东拼西凑的文章，标题党归标题党，好歹每个字都是人敲出来的，文章里多少还残存一点人类的体温和常识。AI时代，这门"生意"彻底工业化了。
一台服务器，几百个脚本，一晚上能生成几万篇结构完整、论证严密、引经据典的"深度好文"。这些文章专门为大模型的RAG检索机制量身定制。
用词规范、逻辑清晰、多角度论证，AI看了直呼专业，然后毕恭毕敬地把它当作"权威信源"引用给你。
这套玩法有个新名词，叫GEO（生成式引擎优化）。传统SEO是骗搜索引擎的爬虫，GEO是骗大模型的脑子。后者隐蔽得多：文章没有病句，没有堆砌的关键词，甚至连"假客观"的欲扬先抑都写得很到位。你让一个普通读者分辨？分辨不出来的，因为它读起来比真人写的还像真人写的。

于是"死寂互联网理论"（Dead Internet Theory），这个几年前还被人当阴谋论的东西正在变成日常体验：
你深夜刷到的一篇感人的亲子文章，可能是AI写的；
下面三百条吵得不可开交的评论，可能也是AI发的；
你气不过回了一条，跟你对线的，还是AI。

2024年，《Nature》上发表了一篇注定要载入史册的论文。牛津、剑桥、多伦多大学和帝国理工的研究者们证明了一件事：如果一个AI模型不断用自己或同行生成的内容来训练，经过几代传递之后，模型的输出会不可逆地退化，稀有信息最先消失，多样性逐渐枯竭，最后沦为一个只会复读套话的"数字痴呆"。他们给这个现象起了个形象的名字——模型坍塌（Model Collapse）。论文里有个让人笑不出来的实验：研究者给模型喂了一段关于中世纪建筑的文本，然后让它反复用自己的输出重新训练自己。到第九代，模型输出的内容变成了一串关于不同颜色尾巴的兔子的清单。从哥特式教堂到兔子尾巴，只用了九次自我复制。
学界管这个叫"自噬"，就像把牛的骨粉喂回给牛吃，最终养出了疯牛病。而现实世界里，大模型们每天联网检索，吃进去的恰恰是自己和同行此前吐出来的二手文字。黑产们用AI污染水源，模型厂再把污染过的水抽回去训练下一代模型。整条食物链，完美闭环，集体中毒。

最讽刺的是，巨头们对此心知肚明，而且是白纸黑字地承认过。
今年9月，在纽约出版商起诉OpenAI和微软的官司里，一份92页的法庭文件曝光了双方的内部备忘录。
微软在2024年的一份报告里写得明明白白："我们的产品威胁着关键供应商的经济基础"，自家的AI内容策略已经触发了一个"doom loop"（毁灭循环），会损害模型性能乃至整个互联网。另一份内部文件更直白，把抓取全网内容训练模型的行为称为"人类历史上最大规模的劳动力盗窃"。
OpenAI的ChatGPT负责人Nick Turley则承认，出版商正面临"存在性威胁"。

看懂了这个背景，DeepSeek的举动就一点都不意外了——这不是什么情怀，是生存需要。大模型厂的命脉是数据质量。当公网语料以肉眼可见的速度被AI废料稀释，谁家能吃上干净数据，谁家的模型就能少几分"人工智障"的味儿。DeepSeek的解法是釜底抽薪：既然外面的井水被下了药，干脆自己挖一口新井。
Search API在抓取阶段就布下天罗地网，从文本统计特征、句法复度、语义信息密度到站群关联度，多维度识别那些批量刷出来的"信息废话墙"，直接拍死，不进索引。Fetch API则负责给网页"剥皮去骨"，把弹窗广告、导航栏、隐藏SEO标签统统剥掉，只留干净正文，转成模型最好消化的Markdown格式。一进一出之间，等于在大模型和垃圾信息之间修了一道隔离墙。
闲聊场景里AI引用了一篇水文，你可能根本察觉不到；但代码Agent要是信了AI批量生成的假文档、假API参数，程序当场报错给你看。开发者对脏数据的愤怒是以毫秒计的。DeepSeek这口井能滤掉多少垃圾，还有待时间检验。它自己的过滤器也是AI，用AI识别AI，本质上是一场军备竞赛。产生成垃圾的技术在进化，过滤技术就必须进化得更快。这场仗没有终点。但这件事真正的意义在于，它标志着AI行业第一次有人公开承认：我们制造的问题，已经严重到需要专门花大钱来解决的程度了。这就像一个化工厂宣布斥巨资治理自己污染的河流。值得肯定，但也让所有人大吃一惊：原来河已经脏成这样了。

对我们普通人来说，藏着两个信号。
第一，未经算法污染的真实文字正在快速升值。谷歌和微软已经开始悄悄给优质出版商付费，只为持续获得人类原创的数据。
巨头们比谁都清楚，模型可以合成一万篇平庸的文章，却合成不出一个记者蹲守三个月写出来的调查报道。
国内也在跟进，《人工智能生成合成内容标识办法》已经落地，要求AI生成内容必须亮明身份，给"真人原创"留出了一块受保护的领地。
第二，内容创作的护城河正在重新洗牌。当AI能批量生产90分以下的所有内容，90分以上的"人味儿"反而成了硬通货。
真实的经历、独家的信源、笨拙但真诚的表达，这些无法被流水线复制的东西，价值正在回归。
对每一个还在认真写字的人来说，这不是最坏的时代，恰恰是把真本事亮出来的最好时代。

点评
8爷就是那个优质的内容生产商，真实的经历，独家的信源，真诚但又非常聪明的表达。