EP.148 | 最诡异的页面掉收录原因:人机验证页面

技术SEO,处处是细节!

大家好,我是Simon,以下是第148期的跨境数字营销资讯,Let’s Rush!

Key Takeaways

1、如果CDN、主机或安全服务误拦Googlebot,谷歌可能抓取到人机验证页而不是真实内容,进而导致页面掉收录。

2、Yelp接入ChatGPT后,本地服务类搜索可能更依赖实时商家信息,评分、评论、图片和询价入口的重要性上升。

3、Notebooklm更名,且其 User-Agent 更名为 Google-GeminiNotebook,它属于用户触发型抓取器,不遵守robots.txt屏蔽规则。

“人机验证”可能导致页面掉收录

网站出于安全考虑,而部署的人机验证拦截页是大家经常看到的场景。

EP.148 | 最诡异的页面掉收录原因:人机验证页面

但是,如果在CDN或主机设置中屏蔽了谷歌爬虫,可能会导致网站内容被谷歌搜索引擎移除,导致页面掉收录!

当网站安全机制误将 Googlebot 标记为可疑流量时,系统会向爬虫返回“人机验证”页面而非真实内容,导致谷歌直接索引该验证页。

但是,由于大量网站使用非常相似的人机验证页面,导致谷歌算法会认为这些页面互为重复内容。

最终,系统可能会将其他网站的页面选为Canonical页面,从而导致你网站的原有页面被认定为“重复页面”并剔除索引。

当你的网站出现这种情况而导致页面掉收录时,解决方法分三步:

1、使用 Google Search Console 的页面收录报告检查是否有页面被标记为“重复页面”或“已被规范化至其他网址”,并通过URL Inspect工具查看谷歌实际抓取到的 HTML 内容。

2、联系 CDN、主机托管商或安全防护服务商,调整安全规则,如放行谷歌的Googlebot 或是优化频繁抓取时的拦截策略。

3、完成修复后,在 GSC 中点击“验证修复”请求谷歌重新抓取。

ChatGPT接入Yelp实时信息

简单理解,就是Yelp成为了ChatGPT本地搜索GEO优化中的一环。

当用户在ChatGPT询问与本地服务相关(例如餐馆,酒店等)的问题时,ChatGPT可以直接引用实时的Yelp商家评分,链接,评论和图片等详细信息。

用户甚至还能直接在聊天中执行Yelp的“Request a quote”功能,直接向本地服务商发起询价和预约。

Notebooklm更名为GeminiNotebook

对用户而言,功能没变,使用方式没变,基本没有任何影响。

但对SEO人而言,却是有一个很重要的变化:User-Agent变了!

  • 以前:Google-NotebookLM
  • 现在:Google-GeminiNotebook

如果你不希望自己的网站被用户触发的GeminiNotebook虫抓取的话,需要在.htaccess或防火墙中屏蔽这个新User-Agent:Google-GeminiNotebook。

顺便提一下,Gemini Notebook使用的抓取器在谷歌的定义中属于“用户触发的抓取器”,它不遵守robots.txt规则,所以在 robots.txt中disallow Google-GeminiNotebook是不起作用的!

我是Simon,我们下期再见!

References

1.https://www.searchenginejournal.com/are-you-a-bot-screens-can-get-your-pages-dropped-by-google/582801/

2.https://www.searchenginejournal.com/google-notebooklm-rebrand-may-expose-your-site-to-more-ai-scraping/582775/

3.https://blog.google/innovation-and-ai/products/notebooklm/better-research-notebooklm/

4.https://searchengineland.com/openai-yelp-deal-483326

5.https://www.axios.com/2026/07/23/yelp-reviews-chatgpt-geo-partnership

来源公众号: 赛门快跑(ID:SimonS_Rush)分享海外数字营销干货

本文由 @赛门快跑(苏嵩Simon) 原创发布于奇赞平台,未经许可,禁止转载、采集。

该文观点仅代表作者本人,奇赞平台仅提供信息存储空间服务。

赞 (0)

为你推荐

发表回复

登录后才能评论
李坤锦
李坤锦
公众号
公众号
视频号
视频号
小程序
小程序
返回顶部