Shopify独立站技术SEO 001: Robots.txt 设置及规则

近期想就Shopify技术端的一些SEO优化经验整理成一个系列, 部分公开, 部分只分享到社群里, 首先从Robots.txt的设置开始.

网上的资料其实很多, 但是, 基本都是讲怎么找到这个文件, 怎么打开, 怎么编辑, 怎么保存关闭, 虽然有用, 但是实践意义不大.

如同Shopify官方文档中的解释一样:

这个我相信大多数人看完了也不知道怎么设置, 啥是延迟规则, 怎么写, 某些爬虫又是哪些…….

今天就简单分享一些可用的Robots Rules, 需要的小伙伴可以直接拿来应用, 且对整个站点SEO有帮助.

第一步: 先检查自己网站的Robots.txt文件在不在, 有没有设置

浏览器打开 https://你的网站.com/robots.txt

如果有, 且能编辑, 可以在对应的Templates下的Robots文件中进行编辑.

绝大多数模板会默认带一个, 但是默认项几乎都是屏蔽一些Cart, Checkout page这些常见不索引页面的规则, 且本身现在搜索引擎也不太索引这些页面.

如果没有或规则设置不好, 则通过如下的方式添加一个自定义的规则:

第二步, 添加如下规则:

# Shopify ecommerce robots user settings (仅作提示, 这行可以不要)
{% for group in robots.default_groups %}
  {{- group.user_agent }}

  {%- for rule in group.rules -%}
    {{ rule }}
  {%- endfor -%}

  {%- if group.user_agent.value == '*' -%}
{{ 'Disallow: /collections/all*' }}
{{ 'Disallow: /*?q=*' }}
{{ 'Disallow: /collections/vendors*?*q=*' }}
{{ 'Disallow: /collections/types*?*q=*' }}
{{ 'Disallow: /collections/*?*constraint*' }}
{{ 'Disallow: /collections/*/*' }}
{{ 'Disallow: /collections/*?*filter*' }}
{{ 'Disallow: /collections/*?*pf_*' }}
{{ 'Disallow: /collections/*?*view*' }}
{{ 'Disallow: /collections/*?*grid_list*' }}
{{ 'Disallow: /collections/?page=*' }}
{{ 'Disallow: /blogs/*/tagged/*' }}
  {%- endif -%}

  {%- if group.sitemap != blank -%}
      {{ group.sitemap }}
  {%- endif -%}
{% endfor %}

简单解释一下:

上面屏蔽的基本都是商店产生的动态参数, 这些参数有可能被谷歌抓取(GSC后台能看到), 但是通常不会有好的排名, 且还会占据站点索引额度, 造成索引膨胀的问题.

第三步,如何添加自己想要添加的规则

在GSC后台, 索引列表里面, 可以找到很多已经抓取但没有收录的url, 有些不想要它再占据索引额度, 可以找出相同模式的URL, 参照如下路径匹配规则, 添加到