SEO 指南

Robots.txt 编写检查清单：SEO 必备的爬虫控制指南

Robots.txt 是网站与搜索引擎爬虫之间的"沟通协议"。一份编写规范的 robots.txt 文件， 能够有效引导搜索引擎抓取你希望被收录的页面，同时屏蔽无意义的重复内容、后台管理目录和临时文件。 本文将从基础语法、常见误区、上线前检查清单到实战案例，为你提供一份完整的 robots.txt 编写指南。

什么是 robots.txt？为什么对 SEO 至关重要

robots.txt 是一个放置在网站根目录下的纯文本文件（例如 https://example.com/robots.txt）， 用于告诉搜索引擎爬虫哪些页面可以抓取、哪些路径应当忽略。根据 Google 官方文档， robots.txt 是搜索引擎与网站之间最基础的交流方式之一。

合理配置 robots.txt 的核心价值体现在三个方面：第一，避免爬虫浪费抓取配额在无价值的页面上（如搜索结果页、分页参数页、打印版本页）； 第二，防止敏感信息或未完成页面被意外收录；第三，通过 Sitemap 指令主动引导爬虫发现重要内容。 对于中大型站点而言，一份精心编写的 robots.txt 是 SEO 基础设施中不可或缺的一环。

robots.txt 基础语法详解

robots.txt 文件由若干条"记录"组成，每条记录包含 User-agent（指定目标爬虫）和一系列指令。 最常用的五个指令分别是：User-agent、Disallow、Allow、Sitemap 和 Crawl-delay。下面逐一说明：

# robots.txt 基础示例

# 针对所有爬虫
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Disallow: /search?q=*
Allow: /

# 仅针对百度蜘蛛
User-agent: Baiduspider
Disallow: /api/
Crawl-delay: 1

# 站点地图地址
Sitemap: https://example.com/sitemap.xml

• User-agent: * -- 通配符，表示规则适用于所有爬虫。
• Disallow: /path/ -- 告诉爬虫不要抓取该路径及其子路径。注意结尾斜杠的含义：/admin 和 /admin/ 匹配范围不同。
• Allow: /path/ -- 明确允许抓取某个路径，通常用于在 Disallow 规则下开放特定子目录。
• Sitemap: -- 指向站点地图文件的完整 URL，帮助爬虫快速发现公开页面。
• Crawl-delay: -- 请求两次抓取之间的秒数延迟（Google 已忽略此指令，但部分搜索引擎仍支持）。

高频误区与避坑指南

在实际工作中，我们见过大量因 robots.txt 配置错误导致 SEO 受损的案例。以下是出现频率最高的五类问题：

上线前检查清单（Checklist）

每次修改 robots.txt 后，建议按照以下清单逐项核对，确保配置无误后再部署上线：

最佳实践：一份生产级 robots.txt 模板

下面是一份适用于大多数中小型站点的 robots.txt 参考模板，你可以根据自身业务需求进行调整。 如果不想手动编写，也可以使用我们的 在线 robots.txt 生成器 一键生成。

# ============================================================
# robots.txt - 生产环境模板
# 最后更新时间请根据实际情况填写
# ============================================================

# --- 全局规则：适用于所有爬虫 ---
User-agent: *

# 屏蔽后台管理与系统目录
Disallow: /admin/
Disallow: /manage/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /cgi-bin/
Disallow: /tmp/

# 屏蔽搜索结果页与分页参数（避免重复内容）
Disallow: /search
Disallow: /s?
Disallow: /*?page=*
Disallow: /*?sort=*
Disallow: /*?filter=*

# 屏蔽动态会话ID参数
Disallow: /*?sessionid=*
Disallow: /*?PHPSESSID=*

# 屏蔽打印版本与PDF归档
Disallow: /print/
Disallow: /*?print=1
Disallow: /*.pdf$

# 允许抓取静态资源与公共API
Allow: /assets/css/
Allow: /assets/js/
Allow: /images/
Allow: /api/public/

# 允许首页及主要栏目
Allow: /
Allow: /about/
Allow: /products/
Allow: /blog/

# --- 百度专用规则 ---
User-agent: Baiduspider
Crawl-delay: 1
Disallow: /internal/

# --- 站点地图 ---
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-news.xml

常见问题解答（FAQ）