发布时间:2026-11-05 05:02 更新时间:2026-11-05 05:02 阅读量:2
新站上线或老站改版时,不少负责人会遇到这样的困惑:页面明明已经发布,内容也认真写了,可搜索引擎里就是搜不到几条记录。排查一圈后才发现,问题出在一个不起眼的文本文件——robots.txt。它相当于给搜索引擎爬虫看的“访问须知”,一旦写错路径,爬虫可能连首页都进不来,整站自然谈不上被收录。这篇文章不讲高深技术,而是从企业负责人的视角,说清楚 robots.txt 为什么会误拦截、常见错误长什么样,以及上线前该按什么清单逐项检查。如果你正在筹备建站,也可以先参考建站方案了解整体流程。
robots.txt 放在网站根目录,爬虫访问网站前会先读取它,根据里面的规则决定哪些路径可以抓、哪些不要抓。关键在于:它只控制“抓取”,不控制“收录”,但如果爬虫被禁止抓取某个页面,它就很难发现页面内容,久而久之该页面在搜索结果中就会缺失。更严重的是,如果规则误伤了整站,比如把根路径或全站目录都屏蔽了,爬虫连入口都找不到,表现就是“整站不被收录”。
很多误配置不是故意写错,而是复制模板、套用旧站文件、或者由不懂规则的人在后台随手改出来的。尤其在企业站改版、更换域名、从测试环境迁移到正式环境时,测试阶段留下的“禁止抓取”规则很容易被一并带上线。对负责人来说,不需要自己会写规则,但要知道哪些地方容易出问题,并在验收环节要求技术或服务商逐项确认。
下面这几类错误在实际项目中出现频率较高,值得重点核对:
Disallow: /,意思是禁止抓取所有路径。这通常是测试环境为了不让搜索引擎提前抓取而设置的,上线后忘记删除,后果就是整站无法被抓取。/html/ 或 /web/ 目录下,却写了 Disallow: /html/,把主要内容区全部挡在外面。Disallow: /product 会同时挡住 /product 和 /products,如果本意只是屏蔽某个参数页,很容易误伤正常栏目。User-agent: * 写成其他形式,或针对特定爬虫的规则写反,导致主流搜索引擎被单独禁止。这些错误有一个共同点:从后台或代码仓库里看“好像没问题”,但线上真实返回的内容并不是你以为的那份。所以检查时不能只看编辑器,要看浏览器实际拿到的文件。延伸阅读可以参考客户案例中关于上线验收的通用做法。
下面这份清单不要求你懂代码,但要求你或服务商在正式上线前逐项打勾。建议把检查结果截图存档,作为验收材料的一部分。
https://你的域名/robots.txt,确认能正常显示内容,而不是 404 页面或登录框。注意要分别测试带 www 和不带 www 的域名。Disallow: / 这类规则。如果有,确认它是否只针对测试环境,正式环境必须删除或改为允许。User-agent: * 即可覆盖大部分情况;如果单独写了某类爬虫规则,要确认不是禁止状态。如果需要临时查看线上文件的实际内容,可以用命令行确认,避免浏览器缓存造成误判:
curl -I https://www.example.com/robots.txt
curl https://www.example.com/robots.txt
第一条命令看返回状态码是否为 200,第二条看实际内容。把示例域名换成你自己的域名即可。如果返回 301 跳转,要确认跳转后的地址是否仍是 robots.txt,跳转到其他页面同样会导致规则失效。
另外提醒一点:robots.txt 只是抓取层面的约定,它不能替代页面本身的可访问性、内链结构和内容质量。如果页面需要登录才能看、或者被防火墙统一拦截,即使 robots.txt 写对了,爬虫同样进不来。这类问题要和服务器安全策略一起排查,属于正常运维范畴。
对于正在选型或改版的团队,建议把 robots.txt 检查纳入上线验收单,和域名解析、HTTPS 证书、备案信息等一起确认。更多模板与风格选择可参考模板与定制风格,但无论用哪套模板,上线前这份检查都不能省。
robots.txt 写错本身不是大问题,真正麻烦的是它悄无声息地让整站从搜索结果里消失,而负责人往往最后才知道。把上面的清单交给执行方逐项确认并留存记录,比上线后再回头排查要省心得多。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 企业站 SEO 基础设置七件事:给负责人的落地清单 | 2026-11-05 |
| 模板自带插件怎么取舍:统计、客服、分享逐个评估 | 2026-11-05 |
| 企业站字体优化:中文字体子集化与 font-display 设置实战 | 2026-11-05 |
| 产品图批量转 WebP 并启用懒加载:企业站首屏减重实操清单 | 2026-11-05 |
| 首页加载慢的真实原因排查:用浏览器 Network 面板分清图片、字体、第三方脚本耗时 | 2026-11-05 |
| 企业官网从零上线:从域名到首页可访问的实操链路 | 2026-11-06 |
| 企业网站模板套用实操:品牌色、Logo、Banner 替换与样式错位排查 | 2026-11-06 |
| 模板改版不推倒重来:老企业站的栏目重构与视觉升级 | 2026-11-06 |
| 企业站手机端排版错乱自查:视口与断点怎么配 | 2026-11-06 |
| 网站首屏加载慢怎么排查:三条主线逐个验证 | 2026-11-06 |