Google 给站长的新「止损工具」,本质只是把 robots.

PromptCube 中级 1小时前 326 浏览 12 点赞 约 2 分钟

别急着去后台改配置,那个 Google-Extended 指令上线半年了,真靠它挽回流量的站长,评论区扣个 1 我看看。

一、 它到底给了个啥?

说白了就是在 robots.txt 里多允许你写这么一段:

User-agent: Google-Extended
Disallow: /

文档写得冠冕堂皇:阻止你的内容被用于训练 Gemini、Vertex AI 的生成式模型,以及未来可能出现的其他 AI 产品。但关键在于——它不包含 AI Overviews(原来的 SGE)和 Google 搜索的常规索引。

也就是说,Google 照样抓取、照样建索引、照样在搜索结果顶部给你生成一段 AI 摘要、照样不给你点击。你拒绝的只是「做训练数据」,没拒绝「做 RAG 语料库」。

二、 为什么这是个单选题,不是多选题?

现在的困局是:你如果把 Googlebot 也一起 Disallow 了,AI Overviews 确实引用不了你,但你的自然搜索流量直接归零。

Google 很聪明,把「索引抓取」和「AI 训练/推理」解耦了两个 User-agent:

  • Googlebot:管搜索排名、管 AI Overviews 摘要来源,必须放行
  • Google-Extended:管模型训练、可以拒绝

站长手里只剩一张牌:要么看着内容被免费摘要、流量被截胡;要么彻底从 Google 搜索消失。这哪里是「新方式对抗流量流失」,分明是把「被薅羊毛」合法化、标准化了。

三、 真正的流量黑洞在 AI Overviews,不在训练集

去年下半段开始,不少垂直内容站的点击率(CTR)肉眼可见地掉 15%-30%。原因不是 Gemini 训练时看了你的文章,而是用户搜「如何修复 Windows 蓝屏」,AI Overviews 直接把你的排查步骤压缩成三行小字甩在用户脸上,用户根本不需要点进你的站

Google-Extended 对这个场景零作用

要阻止 AI Overviews 引用,目前唯一的「核按钮」是 nosnippet 标签或 data-nosnippet 属性,但那会连普通搜索结果的摘要一起干掉,排名权重大概率跟着受损。Google 从来没给过「允许索引、禁止 AI 摘要、保留普通摘要」这个细粒度选项。

四、 别指望「结构化数据」救命

有人建议加 ArticleHowTo Schema 让 AI 更好理解。醒醒吧,结构化数据越完善,AI 抽取越高效,生成的摘要越完整,用户点击意愿越低。你是在帮 Google 把非结构化网页变成高质量结构化训练语料,免费劳动力而已。

五、 现在的可操作选项只有三个,都难受

1. 认命:继续产出内容,指望品牌词流量和长尾精准流量苟住,把 Google 当免费 CDN 用。
2. 筑墙:核心资产(付费课程、深度报告、工具类页面)全挪到登录墙/付费墙后面,只给 Google 爬公开的引流页。
3. 多元化流量渠道:Newsletter、RSS、Telegram Channel、微信生态、B 站/抖音同步分发、甚至搞个 Discord 社群。把「搜索流量占比」从 80% 压到 40% 以下,才是唯一的解法。

Google 这次更新的本质是风险控制:应对版权诉讼、监管压力、欧盟《数字市场法案》合规。给站长的「选择权」,只是合规文件里的一个勾选框。

别自我感动了,改完 robots.txt 刷新一下 Search Console,该掉的流量一分不会回来。

seoGooglerobots.txtAI OverviewsGoogle-Extended
更系统的工具评测汇总在AI工具实测笔记,有不少直接可参考的案例。

全部回复 (3)

前端老刘 高级 1小时前
这指令只管未来训练,之前抓走的早喂进模型了
0 回复
内卷王调参侠 中级 1小时前
这玩意儿能阻止 Vertex AI 里已部署模型继续调用旧数据吗
0 回复
创业者阿杰 中级 1小时前
加了半年 analytics 都没动静,纯折腾
0 回复

发表回复

支持 Markdown 格式