robots.txt写错导致整站被屏蔽：误写排查与sitemap配合

发布时间：2026-09-20 05:00 更新时间：2026-09-20 05:00 阅读量：0

网站上线一段时间，搜索引擎却迟迟不收录，搜索自己品牌词也找不到首页，很多人第一反应是内容质量或备案问题，实际上有一类原因非常隐蔽：robots.txt 写错，把整站挡在了门外。robots.txt 是放在站点根目录的一个纯文本协议文件，搜索引擎爬虫在抓取前会先读取它，按里面的规则决定哪些路径可以抓。它一旦写成全站禁止，爬虫会礼貌地退出，你的页面就算写得再好也不会进索引。下面从原理、常见误写、抓取测试到 sitemap 配合，完整走一遍。

先弄清 robots.txt 的生效逻辑与常见误写

robots.txt 必须放在域名根目录下，路径固定为 https://你的域名/robots.txt，放在子目录里爬虫读不到。文件里的规则按 User-agent 分组，同一组内可以写多条 Disallow 和 Allow。核心要记住两点：Disallow 后面的路径是前缀匹配，写 / 就是全站禁止；Allow 的优先级在多数主流爬虫中高于同长度的 Disallow，但不同引擎对冲突规则的处理细节略有差异，具体以各搜索引擎官方文档为准。

最常见的翻车写法有这么几种。第一种是全站屏蔽：

User-agent: *
Disallow: /

这条规则本意常是“测试环境先别收录”，结果上线时忘了删，或者从测试站直接复制到正式站。第二种是路径少写斜杠，比如想禁后台却写成 Disallow: wp-admin，前缀匹配会把 /wp-admin 之外的相似路径也牵连进来，正确写法是 Disallow: /wp-admin/。第三种是通配符与结尾符用错，$ 表示结尾、* 表示任意字符，写错会扩大或缩小匹配范围。第四种是分组混乱，比如把 User-agent 行漏掉，导致规则挂在上一个分组下，实际效果和预期完全不同。第五种是文件本身无法访问，比如 Nginx 或宝塔面板里被安全规则拦截、返回 403 或 404，爬虫读不到时会按“没有限制”处理，反而可能抓取你不想被索引的目录。

还有一种容易忽略的情况：robots.txt 里写了 Sitemap 指令，但 sitemap 地址写成了相对路径或者带中文，爬虫解析失败。Sitemap 行必须写完整 URL，且同一行只能写一个。

写完之后怎么验证：抓取测试与日志确认

改完 robots.txt 不要凭感觉判断，先做三层验证。第一层是确认文件能被正常访问且内容正确：

curl -I https://www.example.com/robots.txt
curl -s https://www.example.com/robots.txt

第一条看返回状态码，正常应是 200；如果是 403、404、500，说明文件位置、权限或被拦截有问题。第二条把内容打印出来，逐行核对是否还有 Disallow: / 这类全站规则。第二步是模拟爬虫抓取一个具体页面，看返回的是正常 HTML 还是被规则拦下的提示：

curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://www.example.com/

这里只是把 User-Agent 换成爬虫标识来观察服务器返回，不要拿它做任何绕过限制的操作。第三步是看服务器访问日志，确认爬虫确实来过、抓的是哪些路径：

grep -i "googlebot\|bingbot\|baiduspider" /www/wwwlogs/example.com.log | tail -n 50

日志路径以你实际环境为准，宝塔面板默认站点日志一般在 /www/wwwlogs/ 下。如果日志里几乎看不到爬虫记录，而 robots.txt 又是全站禁止，那基本可以确认问题出在规则上。各搜索引擎还提供站长平台里的 robots.txt 测试工具和抓取诊断，能直接告诉你某条 URL 是否被规则拦截，比猜更可靠。

正确的 robots.txt 写法与 sitemap 提交配合

一个面向内容站的稳妥写法是：放开全站抓取，只屏蔽后台、搜索结果页、购物车这类无收录价值的路径，同时声明 sitemap 位置。以 WordPress 为例，可以这样写：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /cart/

Sitemap: https://www.example.com/sitemap.xml

注意 wp-admin 目录被禁止抓取后，admin-ajax.php 这类前台依赖的接口要用 Allow 单独放行，否则可能影响部分功能。sitemap 的生成方式上，WordPress 可以装 SEO 插件自动输出，也可以自己写脚本或静态文件。sitemap.xml 里列出的 URL 必须是可被抓取的，如果某条 URL 在 robots.txt 里被 Disallow，却出现在 sitemap 里，爬虫会收到矛盾信号，通常以 robots.txt 为准，这条 URL 就不会被索引。

提交环节分两步：先把 sitemap 地址写进 robots.txt，再去各搜索引擎站长平台手动提交一次 sitemap，之后爬虫会定期回来读取。sitemap 文件本身也要能正常访问，可以用 curl 检查状态码，并确认 XML 格式没有语法错误。如果站点是 HTTPS、带 www 或不带 www，robots.txt 和 sitemap 里的域名要和实际主域名保持一致，避免爬虫在多个版本之间反复跳转。

小结一下：整站被屏蔽这类问题，九成出在 Disallow: / 没删、路径少斜杠、分组写错或文件访问异常。养成改完 robots.txt 就用 curl 看状态码、用日志确认爬虫行为的习惯，再让 sitemap 与 robots.txt 的规则保持一致，收录问题大多能提前避免。如果确认规则无误但收录依旧缓慢，下一步就该检查页面本身的 meta robots 标签、服务器稳定性与内容质量，而不是继续在 robots.txt 上反复折腾。

继续阅读