Google 给站长的新「止损工具」,本质只是把 robots.
Google-Extended 指令上线半年了,真靠它挽回流量的站长,评论区扣个 1 我看看。一、 它到底给了个啥?
说白了就是在 robots.txt 里多允许你写这么一段:
User-agent: Google-Extended
Disallow: /文档写得冠冕堂皇:阻止你的内容被用于训练 Gemini、Vertex AI 的生成式模型,以及未来可能出现的其他 AI 产品。但关键在于——它不包含 AI Overviews(原来的 SGE)和 Google 搜索的常规索引。
也就是说,Google 照样抓取、照样建索引、照样在搜索结果顶部给你生成一段 AI 摘要、照样不给你点击。你拒绝的只是「做训练数据」,没拒绝「做 RAG 语料库」。
二、 为什么这是个单选题,不是多选题?
现在的困局是:你如果把 Googlebot 也一起 Disallow 了,AI Overviews 确实引用不了你,但你的自然搜索流量直接归零。
Google 很聪明,把「索引抓取」和「AI 训练/推理」解耦了两个 User-agent:
Googlebot:管搜索排名、管 AI Overviews 摘要来源,必须放行。Google-Extended:管模型训练、可以拒绝。
站长手里只剩一张牌:要么看着内容被免费摘要、流量被截胡;要么彻底从 Google 搜索消失。这哪里是「新方式对抗流量流失」,分明是把「被薅羊毛」合法化、标准化了。
三、 真正的流量黑洞在 AI Overviews,不在训练集
去年下半段开始,不少垂直内容站的点击率(CTR)肉眼可见地掉 15%-30%。原因不是 Gemini 训练时看了你的文章,而是用户搜「如何修复 Windows 蓝屏」,AI Overviews 直接把你的排查步骤压缩成三行小字甩在用户脸上,用户根本不需要点进你的站。
Google-Extended 对这个场景零作用。
要阻止 AI Overviews 引用,目前唯一的「核按钮」是 nosnippet 标签或 data-nosnippet 属性,但那会连普通搜索结果的摘要一起干掉,排名权重大概率跟着受损。Google 从来没给过「允许索引、禁止 AI 摘要、保留普通摘要」这个细粒度选项。
四、 别指望「结构化数据」救命
有人建议加 Article、HowTo Schema 让 AI 更好理解。醒醒吧,结构化数据越完善,AI 抽取越高效,生成的摘要越完整,用户点击意愿越低。你是在帮 Google 把非结构化网页变成高质量结构化训练语料,免费劳动力而已。
五、 现在的可操作选项只有三个,都难受
1. 认命:继续产出内容,指望品牌词流量和长尾精准流量苟住,把 Google 当免费 CDN 用。
2. 筑墙:核心资产(付费课程、深度报告、工具类页面)全挪到登录墙/付费墙后面,只给 Google 爬公开的引流页。
3. 多元化流量渠道:Newsletter、RSS、Telegram Channel、微信生态、B 站/抖音同步分发、甚至搞个 Discord 社群。把「搜索流量占比」从 80% 压到 40% 以下,才是唯一的解法。
Google 这次更新的本质是风险控制:应对版权诉讼、监管压力、欧盟《数字市场法案》合规。给站长的「选择权」,只是合规文件里的一个勾选框。
别自我感动了,改完 robots.txt 刷新一下 Search Console,该掉的流量一分不会回来。