robots.txt生成器

快速生成SEO友好的robots.txt文件，控制搜索引擎爬虫访问

设置

爬虫规则

预览

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /tmp/

Sitemap: https://example.com/sitemap.xml