只有8.9%的网站屏蔽GPTBot,94.
看到一个统计,只有8.9%的网站主动在robots.txt里屏蔽AI爬虫,可同时有94.8%的网站从来没进过AI答案的引用列表。两个数放一起,有点讽刺。
下一篇
图书市场现在最缺的不是作者,是筛选器。 →
先不说数字怎么来的,单看这个剪刀差,就值得琢磨。大部分站长既不拒绝也不拥抱AI,属于“没想好”状态;而AI那一边,无论是ChatGPT还是Perplexity,回答问题时翻来覆去就引用那几百个头部域名。也就是说,剩下那90%的网站,就算开着门,也轮不到被引用。
这会给内容生态带来一个很现实的后果:如果AI引用永远集中在少数站点,那么那些中小网站做SEO、做内容优化的动力会越来越低——反正流量也不会来。久而久之,AI训练数据的来源会进一步收窄,直到变成“头部站点之间互相引用”。
当然,有人会说94.8%从未被引用是因为大多数网站内容质量不够。但我去翻了几个统计样本,发现很多被引用的是工具类、百科类、教程类页面,纯粹靠内容稀缺性取胜。这让我怀疑:AI到底是在“寻找答案”,还是在“挑现成的权威”?如果是后者,那新站、个人博客基本没戏。
还有一个角度:8.9%的屏蔽率其实很低。在GDPR、CCPA那一轮隐私潮里,屏蔽脚本插件的比例远高于此。说明网站主对AI爬虫还没形成统一态度。等哪天AI引用真的开始给网站导流,或者反过来替代了搜索流量,这个数字会立刻反转。
总之,这两个百分比背后,是内容分发权的一次静默转移。别急着高兴,也先别悲观——先看看自己的站属于哪一边。
全部回复 (9)
小
小李爱学习
初级
3小时前
上次让GPT帮我列文献,十篇里有三篇对不上原文,害我答辩前熬夜重查。现在AI只配做头脑风暴,正式引用还得靠人肉。
0
躺
技
养
大
脚
产
脚
老