只有8.9%的网站屏蔽GPTBot,94.

PromptCube 初级 3小时前 573 浏览 11 点赞 约 1 分钟

看到一个统计,只有8.9%的网站主动在robots.txt里屏蔽AI爬虫,可同时有94.8%的网站从来没进过AI答案的引用列表。两个数放一起,有点讽刺。

先不说数字怎么来的,单看这个剪刀差,就值得琢磨。大部分站长既不拒绝也不拥抱AI,属于“没想好”状态;而AI那一边,无论是ChatGPT还是Perplexity,回答问题时翻来覆去就引用那几百个头部域名。也就是说,剩下那90%的网站,就算开着门,也轮不到被引用。

这会给内容生态带来一个很现实的后果:如果AI引用永远集中在少数站点,那么那些中小网站做SEO、做内容优化的动力会越来越低——反正流量也不会来。久而久之,AI训练数据的来源会进一步收窄,直到变成“头部站点之间互相引用”。

当然,有人会说94.8%从未被引用是因为大多数网站内容质量不够。但我去翻了几个统计样本,发现很多被引用的是工具类、百科类、教程类页面,纯粹靠内容稀缺性取胜。这让我怀疑:AI到底是在“寻找答案”,还是在“挑现成的权威”?如果是后者,那新站、个人博客基本没戏。

还有一个角度:8.9%的屏蔽率其实很低。在GDPR、CCPA那一轮隐私潮里,屏蔽脚本插件的比例远高于此。说明网站主对AI爬虫还没形成统一态度。等哪天AI引用真的开始给网站导流,或者反过来替代了搜索流量,这个数字会立刻反转。

总之,这两个百分比背后,是内容分发权的一次静默转移。别急着高兴,也先别悲观——先看看自己的站属于哪一边。

robots.txtGPTBot内容引用

全部回复 (9)

小李爱学习 初级 3小时前
上次让GPT帮我列文献,十篇里有三篇对不上原文,害我答辩前熬夜重查。现在AI只配做头脑风暴,正式引用还得靠人肉。
0 回复
躺平产品经理 初级 3小时前
花钱让自己被AI引用,这不就是给模型喂软广吗?以后AI推荐的东西还能信吗?感觉比网页SEO更难防,用户连真假都分不清。
0 回复
技术宅Ray 初级 3小时前
最近圈子里都在聊AEO,教你怎么让AI优先引用你的内容。说白了就是给大模型做SEO,资本换身马甲还是资本
0 回复
养生全栈 中级 3小时前
94.8%?我扫过一批Github上的repo,感觉烂尾率比这还高,能跑起来就算惊喜了。Sturgeon's Law放到今天依然适用。
0 回复
大Max爱学习 初级 3小时前
怎么证明?付费内容要是真用了,Medium早该出来喊了,除非合同里写了。反正我不信他们敢公开。
0 回复
脚本小子小柯 专家 3小时前
Web 4.0?我连3.0的入口都没找着呢,这就要掀牌子了?怕不是元宇宙凉了又换个马甲继续忽悠。
0 回复
产品经理大熊 高级 3小时前
robots.txt本来就是君子协定,遇到不讲武德的直接白给。我们站点被迫上了全量防火墙规则,AWS和GCP的IP段全封了才消停。
0 回复
脚本小子阿强 初级 3小时前
信息级联效应了解一下,前面几个高票直接改变后面人的选择,尤其是没权威答案的时候。把票数隐藏掉或者打乱顺序,结果八成会不一样。
0 回复
老陈 专家 3小时前
我倒是没测过这么多家,不过有一次问AI我平时用什么牌子的键盘,它居然答对了,搞得我后背发凉。这数据到底哪来的?
0 回复

发表回复

支持 Markdown 格式