EP.122 | 79%新闻站屏蔽AI爬虫!

屏蔽AI爬虫正在成为新闻站新常态!

大家好,我是Simon,以下是第122期的跨境数字营销资讯,Let’s Rush!

Key Takeaways

1、新闻站大规模屏蔽AI爬虫本质是在保护内容资产与变现效率,尤其会针对训练与实时引用两类爬虫做不同策略。

2、谷歌AI Overview与AI Mode未来的方向更偏向解决复杂查询,意味着未来SEO/GEO会更强调专业度、可验证信息与结构化表达。

3、AI工具流量与份额正在变化,内容团队应把工具选型与流程分工系统化,而不是只追平台热度。

79%新闻站屏蔽AI爬虫

BuzzStream针对Top 100新闻网站的Robots.txt文件分析发现:

  • 79%新闻站屏蔽训练内容的AI爬虫,其中被屏蔽最多的是CCBot(75%),最少的是Google-Extended(46%)。
  • 71%新闻站屏蔽实时搜索的AI爬虫(会导致页面内容不出现在引用来源中),其中被屏蔽最多的是Claude-Web(66%),最少的是Perplexity-User(17%)。

新闻站屏蔽AI爬虫是有足够理由的,因为它的内容够多,够新,并不想被AI模型“免费”拿去训练。

EP.122 | 79%新闻站屏蔽AI爬虫!

但是对于常规的品牌网站,我的个人建议是没必要屏蔽任何AI爬虫!

我在2023年时就分享过这个话题:你的网站应该屏蔽AI Bot吗?感兴趣的可以了解一下。

谷歌招聘AI软件工程师

简单来看,这只是谷歌招聘一个软件工作师而已。

但是如果深挖一下JD,会发现对于我们做SEO/GEO是有启发的。

因为它招聘的不是一个普通的AI软件工程师,而是一个能够帮助提升AI(AI Overview & AI Mode)回答质量的软件工程师

EP.122 | 79%新闻站屏蔽AI爬虫!

在这份JD当中,有两个信息点值得我们关注:

1、AI Overview/AI Mode的回复内容,要重点覆盖“hard & complicated queries”,也就是说,它们必须能够解决更加复杂&深度的问题,这也就意味着,AI需要能够参考更专业的内容(EEAT)来总结。

2、Google 会“leveraging existing Search signals, building new ones”来生成内容,这说明我们可能要面对更加复杂的排名因素

AI工具格局在悄悄改变

基于Similarweb在1月份对AI工具的跟踪数据发现,整个AI行业中的工具格局正在慢慢发生变化

主要体现在:

1、AI平台的市场份额变化明显

  • ChatGPT当前份额为64.5%,较过去12周访问量下降22%
  • Gemini当前份额为21.5%,较过去12周访问量增长49%
  • 其它平台份额都很小,分别为DeepSeek (3.7%),Grok (3.4%),Perplexity (2%),Claude (2%)

2、写作类AI工具整体流量下降10%

  • Growthbarseo: -100% (流量几乎归零)
  • Writesonic: -17%
  • Jasper: -16%
  • Rytr: -9%
  • Originality: +17% (逆势增长)

3、代码类AI工具表现比较分化

  • Base44: +49%
  • Cursor: +8%
  • Replit: +2%
  • Bolt: -39%

EP.122 | 79%新闻站屏蔽AI爬虫!

我是Simon,我们下期再见!

References

1.https://www.seroundtable.com/google-hiring-ai-answers-quality-engineer-40706.html

2.https://x.com/gaganghotra_/status/2008385490202865771

3.https://www.google.com/about/careers/applications/jobs/results/121772124716049094-senior-software-engineer/

4.https://www.searchenginejournal.com/google-gemini-gains-share-as-chatgpt-declines-in-similarweb-data/564690

5.https://www.searchenginejournal.com/most-major-news-publishers-block-ai-training-retrieval-bots/564605/

6.https://www.buzzstream.com/blog/publishers-block-ai-study/

来源公众号: 赛门快跑(ID:SimonS_Rush)分享海外数字营销干货

本文由 @赛门快跑(苏嵩Simon) 原创发布于奇赞平台,未经许可,禁止转载、采集。

该文观点仅代表作者本人,奇赞平台仅提供信息存储空间服务。

(0)

为你推荐

发表回复

登录后才能评论
李坤锦
李坤锦
公众号
公众号
视频号
视频号
小程序
小程序
返回顶部