SEO&GEO周报:Google 米兰活动新提到站点信号|AI爬虫不遵守robots|AI流量3年涨16倍 [2026-06-23]

SEO&GEO周报 [2026-06-23]:【官方】Google 米兰活动新提到站点信号、订阅链接、结构化数据生态、【洞察】AI 搜索的流量调查:从 2024 年到 2026 年增长了 16 倍、【调研】大多数爬虫并不遵守 robots.txt,也不执行 JavaScript、【研究】 信息增益实测

【官方】Google 米兰活动新提到站点信号、订阅链接、结构化数据生态

Google 上周在米兰的 Search Central Live 活动

Google 上周在米兰的 Search Central Live 活动

Google 上周在米兰的 Search Central Live 活动中提到了很多新话题,核心内容整理如下。

谷歌搜索个人资料

谷歌搜索个人资料

搜索个人资料,作为用户实体直接在搜索结果中出现。Google 允许用户拥有一个专属的、可自定义的个人资料,用户可以通过原生的”关注”功能来订阅和关注。

"高被引"标签

“高被引”标签

“高被引”标签用来标记多次被引用的网页,通过算法自动添加,以识别和奖励原创的有价值的网页(Google 之前博客专门介绍过)。

Google 通过 Reader Revenue Manager 引入了订阅链接功能

Google 通过 Reader Revenue Manager 引入了订阅链接功能

Google 通过 Reader Revenue Manager 引入了订阅链接功能。通过此设置整合付费墙结构,显著提升了现有订阅者的内容发现体验,内部案例研究显示用户参与度提升了 34%。

站点信号与网页信号

站点信号与网页信号

如图所示,站点信号和网页信号都很重要:

  • 站点信号需要时间来更新,网页信号更容易短期优化。
  • 建立品牌意味着长期保持好评分。
  • 外链、换域名、站点迁移,以及技术 SEO 优化,不能解决网站本身的质量问题。
  • 建议流量来源多元化,以减轻对算法的依赖。

GSC 的 GEO 报告

GSC 的 GEO 报告

GSC 的 GEO 报告正在测试阶段,站长也可以配置在 AI 中包含或排除其网站(之前也有功能介绍)。

Google 的会员计划

Google 的会员计划

Google 针对电商网站引入的会员计划,网站可以在结构化数据中标注网站的会员计划、会员等级,以及会员专属权益。

Google 今年会加大对结构化数据生态的投入

Google 今年会加大对结构化数据生态的投入

Google 今年会重新加大对 schema.org / 结构化数据生态的投入,让开发者、SEO 工具、CMS 插件更容易知道”哪些 schema 有人用、Google 怎么验证、哪些表达方式更标准”。

Google 想让结构化数据从”靠人工读文档、靠猜、靠工具各自实现”,变得更透明、更标准、更容易自动校验。

Vibe Coding + SEO = ?

Vibe Coding + SEO = ?

对于 AI 编程,Google 的建议是:仍要了解编程原理;AI 编程可以自己实现一些工具,但注意安全性、实现成本,多用 GSC 的 API;AI 编程的站点,很多都用 JS 框架,要注意抓取风险;技术 SEO 变得更为重要;要谨慎采用 AI 优化的工具。

Google 又一次做了技术澄清:段落分块毫无意义,内容撰写必须方便用户阅读。

我的看法:Google 的方向是逐渐成为一个开放互联网的运营方,在逐渐覆盖各项功能,比如关注和订阅、付费订阅功能、个人资料页、电商的会员计划等。对 SEO 和 GEO 来讲,及时跟进可以短期获得策略红利;长期来看,要关注自己的产品和服务,关注客户运营和品牌沉淀。最后也希望 Google 能在国内多举行几次活动,有更多适合国内卖家的话题分享。

参考链接:

  • 《Google Speaks On Chunking, Site Signals, Content, Paywalls & AI Clicks》https://www.seroundtable.com/google-search-central-live-milan-41533.html
  • X 上 Stefano 的分享 https://x.com/SearchStefano/status/2067683545225544135

【洞察】AI 搜索的流量调查:从 2024 年到 2026 年增长了 16 倍

SE Ranking 研究了 250 个国家和地区的 101,574 个网站的 GA 匿名数据,进行了 AI 搜索的流量研究,得到了以下核心结论:

各 AI 平台引荐流量占比

各 AI 平台引荐流量占比

  1. AI 搜索引擎带来的网站流量从 2024 年到 2026 年增长了 16 倍。AI 平台目前占所有网站流量的 0.32%,高于 2025 年的 0.24% 和 2024 年的 0.02%。
  2. ChatGPT、Gemini、Perplexity、Copilot 和 Claude 是 2026 年向网站输送流量最多的 AI 搜索引擎。ChatGPT 以 74.78% 的 AI 推荐流量占比领先,紧随其后的是 Gemini(11.56%)、Perplexity(7.23%)、Copilot(3.51%)和 Claude(2.62%),如上图。
  3. 尽管 ChatGPT 目前占据主导地位,但其向网站输送的 AI 流量份额正在下降,且 2026 年整体增长放缓。ChatGPT 在 2025 年占据了所有 AI 推荐流量的 79.74%,而 2026 年这一比例下降至 74.78%;2026 年 1 月到 4 月,它带来的总网站流量占比只从 0.2286% 增到 0.2321%,4 个月只涨了 1.5%。同期整体 AI 流量增长了 13%。所以 ChatGPT 仍然最大,但增量正在被 Gemini、Claude、Copilot 分走。
  4. Gemini 现已成为全球第二大 AI 流量来源。Gemini 从 2025 年到 2026 年增长了 231%,是前五大 AI 搜索引擎中增幅最大的之一。到 2026 年初,它还超越了 Perplexity,成为第二大 AI 流量来源。
  5. Claude 是增长率最快的平台。Claude 从 2025 年到 2026 年增长了 320%。其中大部分增长发生在 2026 年 3 月,当时其全球流量份额在单月内飙升了 159%。
  6. Perplexity 正在失去增长势头。其全球流量几乎停滞不前,而在美国 AI 流量中的份额从 2025 年的 11.42% 下降至 2026 年的 6.85%。
  7. AI 流量现在呈现出季节性模式。全球 AI 流量在 2025 年 10 月达到峰值 0.3511%,随后在 12 月有所下降,并在 2026 年初回升。这一模式在追踪的所有地区都有出现。
  8. 来自 AI 搜索引擎的网站访客比自然搜索访客更具互动性。平均而言,由 AI 引擎引荐的访客在网站上花费的时间比传统自然搜索访客多 68%。这是因为 AI 工具充当了”意图过滤器”的角色,它们带来的用户已经具有互动性,并且在决策过程中处于更深入的阶段,如下图。
  9. AI 流量增长很快,但体量仍然很小。2026 年 AI 平台只占网站总流量的 0.32%,大约是每 312 次访问里有 1 次来自 AI。相比之下,自然搜索仍占 42.75%,也就是传统搜索给网站带来的流量大约还是 AI 平台的 134 倍。所以现在不能说 AI Search 已经替代 SEO,它更像是一个正在形成稳定规模的新渠道。
  10. AI 流量入口正在集中到少数几个平台。2025 年还有 9 个 AI 工具有可观测的网站引荐流量;到 2026 年,真正稳定超过 0.1% AI 流量份额的平台只剩 5 个:ChatGPT、Gemini、Perplexity、Copilot、Claude。也就是说,做 AI Visibility 不需要追所有新工具,优先盯这几个就够了。
  11. Copilot 不爆发,但已经稳定可测量。Copilot 2025 年前几个月还不明显,直到 2025 年 5 月才开始成为可测量来源。2026 年它全球占 AI 引荐流量 3.51%,同比增长约 31%。它不是增长最快的,但已经从”几乎看不到”变成”稳定存在”。
  12. DeepSeek 和 Grok 的网站引荐流量几乎退场。DeepSeek 在 2025 年初一度是全球第四大 AI 流量来源,但从 2025 年 9 月开始,网站引荐流量几乎归零。Grok 也只是在 2025 年 7—8 月出现短暂峰值,之后回到接近零。这说明 AI 工具的声量和它实际给网站带来的 referral traffic,不一定是一回事。
  13. AI Visibility 不能只看流量,还要看”被谁引用、在哪些问题里出现”。GEO 优化不能完全沿用传统 SEO 的关键词、排名、URL、点击模型。你还要看:品牌在哪些 AI 平台出现、哪些 prompt 会触发品牌提及、哪些页面被 AI 引用、竞品是否被更多提到、AI 可见性有没有转化成实际 referral traffic(这点对 GEO 很关键,因为 AI 搜索里很多影响发生在点击之前)。

自然搜索 vs AI 搜索访客对比

自然搜索 vs AI 搜索访客对比

我的看法

从整体数据来看,目前仍处在 SEO 往 GEO 的转变过程;考虑到 Google 和 Bing 开始开放 GEO 报告,可以说是进行 GEO 布局的好时机,甚至是最好时机;但仍需要做好 SEO 和 GEO 的配合,SEO 是 GEO 的基础,也是当前转化产量的基础;我的精力和投入也将逐渐切换到 GEO。

原文链接:https://seranking.com/blog/ai-traffic-research-study/

【调研】大多数爬虫并不遵守 robots.txt,也不执行 JavaScript

作者 Andre Alpar 做了两个实验,测试 AI 爬虫会不会遵守 robots.txt,以及会不会执行 JavaScript,得到了以下核心结论:

  • 大多数爬虫并不遵守 robots.txt,遵守的只有:ChatGPT、Claude、Perplexity。
  • 大多数爬虫也并不执行 JS,能执行的只有:DeepSeek、ERNIE、Qwen、Kimi、Mistral。

下表汇总了两项测试的结果:

AI 爬虫 遵守 robots.txt 执行 JavaScript
ChatGPT ✅ ❌
Claude ✅ ❌
Perplexity ✅ ❌
Gemini ❌ ❌
Microsoft Copilot ❌ ❌
Meta AI ❌ ❌
Grok ❌ —
Mistral ❌ ✅
DeepSeek ❌ ✅
Qwen ❌ ✅
ERNIE ❌ ✅
Kimi ❌ ✅

第一篇测试:AI 爬虫会不会遵守 robots.txt

测试结果是:

  • 遵守 robots.txt 的:ChatGPT、Claude、Perplexity。
  • 不遵守 robots.txt 的:Gemini、Microsoft Copilot、Meta AI、Mistral、Grok、DeepSeek、Qwen、ERNIE、Kimi 等。

也就是说,robots.txt 不是安全机制,只是一个”请不要抓取”的君子协议。愿意遵守的会遵守,不愿意遵守的照样可能访问。

AI 爬虫会不会遵守 robots.txt

AI 爬虫会不会遵守 robots.txt

第二篇测试:AI 爬虫会不会执行 JavaScript

作者设计了一个 JS 陷阱:

  • 原始 HTML 里放一个假的编号。
  • 页面加载后,JavaScript 请求真实编号。
  • 再把页面里的假编号替换掉。

如果 AI 返回假编号,说明只读了原始 HTML;如果返回真实编号,说明执行了 JS。

结果也挺有意思:

  • 能执行 JS 的只有:DeepSeek、ERNIE、Qwen、Kimi、Mistral。
  • 不执行 JS 的:ChatGPT、Claude、Gemini、Perplexity、Meta AI、Microsoft Copilot。
AI 爬虫会不会执行 JavaScript
AI 爬虫会不会执行 JavaScript

这里最反直觉的是 Gemini。Googlebot 能渲染 JavaScript,不代表 Gemini 背后的 AI 爬虫也会渲染页面。搜索索引系统和 AI 产品的实时抓取系统,可能不是一套东西。

对 SEO / GEO 的影响

  • 重要内容还是要放在 HTML 源码里,并尽量靠前。
  • 不要依赖 JS 才展示核心信息。
  • 结构化数据、正文、品牌、作者、价格、FAQ 等核心内容,最好服务端输出。
  • robots.txt 可以配,但不要当安全机制。
  • 不要相信 AI 自己声称”读到了什么”。
  • 真要判断 AI 有没有抓取,要看服务器日志、User-Agent、IP 和请求路径。

我的看法

看来 AI 爬虫的抓取,比传统搜索引擎更不稳定,也更不透明。所以不要猜,也不要完全听官方说法,要看实际日志和案例。比如我刚研究了我网站的 llms.txt 是否被抓取过。

zhidaow.com llms.txt 文件的抓取分析

zhidaow.com llms.txt 文件的抓取分析

目前来看还没有搜索引擎和 AI 爬虫的抓取。当然我网站的权重很低,所以我新建了 llms.txt,再观察一段时间。

来源:

  • robots.txt 实验
  • JavaScript 渲染实验

★必看【研究】 信息增益实测:Google 前 3 名里,1/4 的页面只是在重复别人

On-Page.ai 对 Google 排名做了一项”信息增益(Information Gain)”实测:从 10 个行业抽取 50 个关键词,给每个关键词排名前 3 的页面打分,共 150 个页面。”信息增益分数”是一个 0—100 的指标,衡量一个页面相比同关键词下其他排名页面,到底多提供了多少新信息(按语义比对,换个说法复述竞品内容不算原创)。核心结论如下:

  1. 排名前 3 的页面,并没有大多数 SEO 想象的那么原创。中位数页面只得 52/100,也就是说一个典型排名页面里,大约有一半内容能在同关键词的其他页面里找到近义表达。
  2. 1/4 的前 3 名页面”基本在重复”(得分 < 40),只有 1/5 被评为”高度原创”(70+)。具体分布:高度原创 32 个(21%)、中等原创 82 个(55%)、基本重复 36 个(24%)。
  3. 排名第几,和原创度无关。第 1、2、3 名的中位数分别是 52、51.5、52,几乎一样。换句话说,撑起 #1 排名的因素,从信息增益这个维度看不出来——第 1 名平均并不比下面两个更原创。
  4. 掉出前 3 名后,”重复型”页面明显变多(探索性数据)。第 4、7、10 名里”基本重复”的页面占到 37%—40%,而前 3 名只有 24%。前 3 名整体均分 51.4,第 4—10 名约 47.1,差 4—5 分,其中第 10 名最不原创(均分 44.5)。
  5. 原创数据点是和高分关系最强的因素。携带 15 个以上同行没有的独家数字的页面,平均分 62/100;而最多只有 1 个独家数字的页面只有 40/100——差了整整一个评级档位。前 3 名页面独家数据点的中位数只有 4 个。
  6. 堆字数没用。最长的 1/3 页面中位数 57.5,比最短的 1/3(50.5)只高一点点,而中间 1/3 反而更低(49)——加长度本身并不等于加信息。
  7. 行业差异有 20 分。中位数从健康(42)到法律(62)。法律内容最稳定原创(15 个里有 7 个高度原创);健康、电商、B2B SaaS 垫底。
  8. 同一个 SERP 内部差距巨大。同一关键词前 3 名里,最原创和最不原创页面平均差 31.6 分(中位数 25),64% 的 SERP 差距在 20 分以上。而且在 90% 的 SERP 里,至少有一个常见用户问题是前 3 名页面全都没回答的。
  9. 商业词比信息词更爱抄。信息型查询中位数 54,商业型(比较类、”best”、价格类)只有 48——和导购类内容大量套模板的现象一致。

我的看法

  • 信息增益这个说法,最早是在百度搜索的一篇官方博客《浅谈互联网页面价值》里提到,那篇文章提到信息增益和站点增益,都是很重要的排名因素。也容易理解,网页中原创有价值信息越多,越容易排名靠前;同样一篇内容,在新浪上发布,比在我的小破站上发布更被用户信任。
  • 独家数据点还是最关键的结论。如果有独家的调查数据和结论,对用户更有价值,比如我周报里的很多调查类文章就是这类内容。
  • 信息增益,我认为仍是很关键的结论,但不是唯一结论。你看从第 1 名到第 10 名,整体还是原创得分在排序,只是在前三名的竞争上,还会叠加站点得分、用户体验得分等数据。
  • 目前做 GEO 的 AIGC 内容,如果说只能留下一条建议,我的建议就是“要补充原创、有价值的内容”(参考我的 AIGC 提纲工具),也符合文章提到的信息增益,以及 Google 推荐的”非通用内容”。

原文链接:https://api.on-page.ai/research/information-gain-study

来源公众号: SEO技术流(ID:seotechie)专注于SEO流量增长领域。

本文由 @SEO技术流 原创发布于奇赞平台,未经许可,禁止转载、采集。

该文观点仅代表作者本人,奇赞平台仅提供信息存储空间服务。

赞 (0)

为你推荐

发表回复

登录后才能评论
李坤锦
李坤锦
公众号
公众号
视频号
视频号
小程序
小程序
返回顶部