SEO必备工具：尖叫青蛙（Screaming Frog）的全面教程（一）

工欲善其事，必先利其器，使用工具是做 SEO 的必备技能。后续将会陆续推出 screaming frog、ahrefs、SEMrush、GSC 等工具的使用教程，力争全面、细致、结合数据分析把工具讲透，让新手小白一看就明白，对进阶者有新的启发。

废话不多说，学习一款软件或工具最快的方式之一，就是按照功能菜单的顺序把每一个菜单项或按钮逐一点过去，试用每一个选项所代表的功能。

我们秉持这个方法，将每个功能都列举出来，做一个思维导图：

我们首先浏览一下整个软件的界面，如下图：

我们针对每一个菜单项进行讲解👇🏻👇🏻👇🏻

01 File菜单

✅ 1.1、New 新建

开始新的抓取工程，注意正在抓取的时候，不要新建，否则目前抓取的进度将暂停，需要重新打开并开始。

Crawls就是抓取记录都在这里，可找到过往的抓到的网站记录。

Open Recent最近打开，字面意思，就是最近打开的项目。

✅ 1.2、Close、Rename、Delete 都是字面意思，不解释

✅ 1.3、Import，导入

比如在其他电脑抓取的文件，这个电脑需要导入上一电脑的抓取记录才能做分析。 Import Recent，最近导入记录，不做解释。 Export，导出，你想把抓取的文件导出做备份或者用在其他位置，需要导出文件。

✅ 1.4、Settings 设置

1.4.1、Licence 就是购买的许可证，没什么解释的

1.4.2、User Interface，用户界面，就是设定外观，无需解释

1.4.3、Language，目前缺少中文，遗憾

1.4.4、Proxy、代理

这个功能非常有用，有些网站是屏蔽中国大陆的，尤其是shopify的网站，不设置代理竟然无法抓取，所以要设置这个代理才能正常抓取。

要禁用代理服务器，请取消勾选“使用代理服务器”选项。

配置窗口中配置代理的地址和端口的方法，下面是配置的图片：

1.4.5、Storage mode  存储方式

这个要注意，默认情况下，SEO Spider 将以数据库存储模式启动，并使用您的硬盘来存储和处理数据。这使 SEO Spider 能够比内存存储模式抓取更多的 URL，并自动保存抓取内容，并允许更快地打开已保存的抓取内容。

以上是官方给出的说法，但是我安装后，默认选项是内存存储方式，一次我抓取网站的时候显示我的内存不足，我才变更选项到数据库存储模式。如果你是机械硬盘就不建议用数据库存储模式，传输速度过慢，影响抓取。

1.4.6、Memory allocation  内存分配

16G的电脑内存默认是分配2G，32G的内存是默认分配4G，注意，不要设置过大，否则影响其他程序的运行。

1.4.7、Embedded Browser “内嵌版”的 Chrome 浏览器来处理那些需要 JS 渲染 或 登录后才能看到内容 的页面。

• 开启：它可以像真正的浏览器一样加载网页，运行 JS，模拟登录。
• 关闭：就只能抓取静态内容，很多网站内容可能看不到。

1.4.7、Trusted Certificates  受信任的证书

该工具在爬取网站时，涉及对网站数字证书信任状态的检查和处理。目前为止没遇到过特殊的情况，无需做添加证书。

✅ 1.5、crawl recent 无需解释

✅ 1.6、Scheduling 设定抓取任务，一次性、还是每天每月等

02 View视图

如图所示，就是设置表格列的显示，因为如下图所示，用户是可以自定义设置显示哪些列，想快速回复，就点击reset就好，没有特别说明的知识点。

03 Mode模式，有4种模式，分别为Spider、List、SERP、compare 4种

✅ 3.1、Spider 模式，这是 SEO Spider 的默认模式。

Screaming Frog 的 Spider Mode（蜘蛛模式） 是它最常用、功能最全面的模式。它就像一个搜索引擎爬虫，可以模拟搜索引擎访问你的网站，从首页或某个起始页面开始，自动抓取整个网站的结构和页面内容。

它会收集网站上的各种页面数据，例如：

抓取完之后，会看到网站的结构、问题、相应时间等等信息，我们举个例子，如下图：

我们从这个图片中可以看到：

问题1：页面标题重复有1个页面。

问题2：权威页面指向有 227个页面，这个是一些重复页面或筛选页面，人工判断是没有问题的页面。

问题3：404页面1个，需要确定是否误删，或者修改断链

问题4：页面标题缺失，有哪些页面？

不再过多列举，请自行排除问题，这里会列出他认为的所有问题，所以非常全面，找到需要进行修改的问题进行一一解决。

✅ 3.2、List Mode  列表模式

你可以检查预先准备好的的 URL 列表。此列表可以来自各种来源 – 简单的复制和粘贴，或 上传.txt、.xls、.xlsx、.csv 或 .xml 文件。

如何操作：点击主界面的 “Upload” 按钮，你会看到几种导入方式

• Paste：直接粘贴 URL 列表（换行分隔）
• Enter Manually：手动一个个输入
• Upload File：上传包含 URL 的文件（如 .txt、.csv）
• Download Sitemap：从 sitemap 中抓取指定 URL

List Mode 有以下几个方面的应用：

1. 批量检查特定页面

• 比如你在做 SEO Audit，只想分析一批产品页、落地页、或旧文章的 SEO 状况。

2. 状态码检查（404、301 等）

• 验证你手头一批 URL 是否都能正常访问，或者是否已被重定向。

3. 重定向链路分析

• 查看哪些页面重定向了几次，是否存在不必要的跳转链条。

4. 配合 Excel 或数据库使用

• 如果你从数据库导出了一批页面链接（如最热文章、老旧页面等），可以导入进行 SEO 数据分析。

5. GA/GSC 配合分析

• 从 Google Analytics 或 Google Search Console 导出表现不佳的 URL，在 Screaming Frog 中进一步查看技术问题。

6. 检查页面标题、描述、H标签、规范链接等

• 对这批 URL 的页面元素做完整的 SEO 评估。

✅ 3.3、SERP Mode  SERP 模式

你可以从 SEO Spider 中导出页面标题和描述，在 Excel 中进行批量编辑，然后将它们上传回工具中以了解它们如何出现在 Google 的 SERP 中的表现。

如何使用：

1. 切换到 SERP 模式

打开 Screaming Frog → 点击顶部导航栏的 Mode > SERP Mode

2. 上传数据

在 SERP 模式中，你需要导入一份包含以下字段的数据：

通常你可以从 Screaming Frog 抓取完数据后，在原模式导出并修改 Excel 文件，再重新导入 SERP 模式。

1. • URL
   • Page Title
   • Meta Description

SERP Mode 的主要用法

1. 预览搜索结果展示效果，像素级控制（更接近真实展示）

• 看标题和描述是否在 Google 搜索中被完整展示或被截断，可以根据 Google 实际展示像素规则（通常标题约 580px，描述约 920px）来优化内容，而不仅仅是字符数

2. 批量优化标题和描述，提高点击率（CTR）

• 适用于 SEO 写标题、写描述的团队，查看哪些内容太长、太短、不吸引人，通过优化标题和描述的字数和措辞，提升用户点击率（CTR）。

💡 小技巧：

• 在抓取网站后，可以先用 Spider 模式导出页面标题/描述，再进入 SERP Mode 进行优化。
• SERP 模式中可以设置目标像素限制和搜索引擎类型（如 Desktop、Mobile）。

✅ 3.4、Compare  比较模式

你可以比较两个抓取结果，并查看标签和过滤器中的数据随时间的变化情况。

你知道这对监控自己的网站，研究一个竞争对手是多么的有用？

3.4.1、监测SEO问题的变化：

通过比较两次爬取结果，我们可以发现哪些页面新增了问题，哪些问题已被解决。

例如，我们可以识别出新出现的断链（404错误）或确认之前存在的元标签重复问题是否已修复。

对比抓取结果显示：30 个页面的 <meta description> 被补充，之前是空的，现在优化完整；多个页面的 H1 重复问题已被修复。

3.4.2、分析网站结构的变化：

比较网站在不同时间的目录结构、页面数量和爬取深度，了解网站架构的调整情况。

例如：

新增和删除页面的检测：比如在两次爬取之间，我们发现新增了50个页面，删除了20个页面。这有助于我们了解内容的更新情况，并确保新增页面已正确链接，删除页面已适当处理（如设置重定向）。下图显示两次爬取时间，新增页面html 121个，图片新增977个等等，说明网站在更新，我们点击new列中121，就可以看到新增了哪些页面。

目录结构的变化：通过比较，我们看到“博客”目录下的页面数量从1增加到68，products目录下产品由17增加到48，说明博客文章有在增加，产品由在上新，我们可以进一步找到新增产品页面有哪些，博客页面有哪些，做进一步分析。

爬取深度的变化：比较结果显示，原本在为2的产品页面现在位于第4层级，可能是增加了产品分类，使得产品层级变深。

3.4.3、检测页面元素和指标的变化：跟踪页面标题、元描述、H1标签、字数、内部链接和结构化数据等元素的变动。例如，您可以发现某些页面的标题或描述被修改，评估这些修改是否符合SEO。

3.4.4、支持网站迁移或重设计：在网站迁移或重新设计过程中，使用“比较模式”对比迁移前后的爬取数据，确保重要的SEO元素（如页面URL、元标签和内部链接）保持一致，避免因迁移导致的SEO问题。

3.4.5、竞争对手监控（通过比较其旧版与新版网站）

用途：观察竞争对手网站结构、内容或 SEO 设置的变化。

a. 新增 / 删除页面

• 用途：追踪竞争对手发布新内容、下线旧页面的节奏。
• 解读：
  • 发现新增大量“内容型页面”（如博客、行业指南），可能说明其开始重视内容营销。
  • 删除大量老产品页，可能是产品线调整或重定位。
  • 发现增加产品页面，可能说明其正在上新品。

b. 标题和描述（Title & Meta Description）变化

• 用途：分析其 SEO 策略是否调整，是否在优化点击率（CTR）。
• 解读：
  • 标题从“品牌主导型”变成“关键词导向型”，说明他们开始攻关键词。
  • meta description 进行调整，可能说明他们在提高点击率或调整目标关键词进行布局

c、页面结构（H1/H2）和内容层级调整

• 用途：判断内容改版、栏目重组是否围绕关键词优化展开。
• 解读：
  • H1/H2 改动可能是内容“重新排版”，在提高可读性或 SEO 分数。
  • 新增 FAQ 模块、比较表格等，是 SEO 内容增强信号。

d、内部链接结构变化

• 用途：看他们是否调整了网站的内部权重传递逻辑。
• 解读：
  • 新增“热门产品”推荐链接，说明他们可能在引流策略上有调整。
  • 若 compare 显示某些旧链接被移除，可能是内部清洗低质量内容的信号。

e、URL 重写、目录结构变化

• 用途：侦测网站架构改动，例如类目合并、URL 优化。
• 解读：
  • 发现从 /blog/keyword-guide-2023 → /guides/keyword-research，说明在做永久优化。
  • URL 更简洁、模块化，是 SEO 架构升级的表现。

🔧 如何实操（建议流程）

1. 定期抓取竞争对手站点
   • 建议每月抓一次主站及其关键栏目
   • 保存文件，命名带时间戳（如：competitor-202504.crawl）
2. 使用 Compare 模式对比
   • 打开最新 crawl → 菜单栏：File > Compare Crawls
   • 加载前一个 生成文件 → 生成对比报告
3. 导出关键变化
   • 尤其是变化最多的：新旧页面、标题变动、meta 改动、H1、canonical
   • Screaming Frog 可导出 CSV/Excel，用于进一步分析
4. 竞品分析与策略应对
   • 与自己网站对比，看哪些策略是你可以借鉴的
   • 特别关注他们是否在“抢占你的关键词”领域发力

因内容量较大，为了减轻大家的阅读压力，本篇内容先讲前面3个菜单栏的内容。

下一篇文章将会讲解：配置、批量导出、报告、可视化等内容，也会有更多的数据分析和案例讲解，敬请期待！