发布时间:2026-10-19 08:10 更新时间:2026-10-19 08:10 阅读量:2
很多企业在网站改版上线后会发现一个尴尬的情况:页面明明已经发布,用浏览器打开一切正常,但搜索引擎里搜不到,或者只收录了首页。负责人往往把问题归到“SEO 没做”,实际上相当一部分原因出在两个很小的文件上——robots.txt 和 sitemap.xml。前者告诉搜索引擎哪些目录可以抓取,后者主动列出站点里有哪些页面值得抓取。这两个文件加起来通常不到几 KB,却是网站能否被正常发现的第一道门。本文不深究技术细节,而是从项目负责人的视角,讲清它们分别管什么、该怎么准备、上线前怎么验收,避免白花推广费。
robots.txt 放在网站根目录,是搜索引擎爬虫进入站点后读取的第一份“说明书”。它按目录和路径声明允许或禁止抓取的范围。sitemap.xml 也是一份放在根目录(或约定位置)的清单文件,用结构化格式列出站点的页面地址和可选的更新时间,方便爬虫发现深层页面。两者的分工是:robots 负责“能不能进”,sitemap 负责“有哪些门可进”。
出错的原因也很集中。第一,robots.txt 写起来只有几行,改动成本极低,很多人在测试环境写了一条禁止规则,上线时忘了删,结果把整站或关键资源挡在门外。第二,规则里的通配符和路径写法有细节,比如路径是否带斜杠、是否误伤了 CSS、JS、图片这类渲染必需资源。第三,sitemap 里的地址和站点实际地址不一致,比如带 www 和不带 www 混用、协议写成 http 而站点已全站 https,导致提交后大量报错。对负责人来说,不需要会写这些配置,但需要知道验收时该看什么。
如果你正在规划改版,建议先确定站点结构再处理这两个文件,具体节奏可以参考建站方案里从结构到上线的顺序,避免边改边配、越配越乱。
下面这份清单可以直接交给技术同事或建站服务商执行,你负责逐项确认结果。不同建站程序的具体入口不一样,以下以常见做法为例,具体以官方文档和实际环境为准。
一个可用的 robots.txt 参考写法如下,注意路径和大小写要与服务器实际目录一致:
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /tmp/
Sitemap: https://www.example.com/sitemap.xml
如果站点有多个 sitemap,可在 robots.txt 里写 sitemap 索引文件的地址。提交后不要频繁改动规则,每次改动都意味着爬虫需要重新适应,短期内抓取表现可能出现波动,这属于正常现象。
错误一:误屏蔽自身资源。最常见的写法是在 robots.txt 里禁止了 /css/、/js/、/images/ 之类目录。爬虫抓不到样式和脚本,页面渲染可能不完整,影响对页面内容的理解。除非有明确理由,这些渲染必需资源应保持可抓取。
错误二:通配符用过头。规则里的 * 和 $ 是匹配符号,写成 Disallow: /* 相当于全站禁止,一条规则就能让整站从搜索结果里消失。写规则时宁可范围小一点,也不要图省事用宽泛匹配。
错误三:sitemap 地址与站点不一致。协议、域名、端口任一不同都会导致提交失败或大量报错。生成后建议抽查几条地址,直接在浏览器里打开验证。
错误四:把测试环境的配置带到线上。测试站常禁止全站抓取,上线时如果直接同步过去,就会把线上也挡住。上线检查表里应把“确认 robots.txt 为线上版本”单列一行。
错误五:sitemap 长期不更新。新增栏目或页面后没有重新生成,清单里仍是旧地址,爬虫发现新页面的效率会降低。建议把重新生成动作绑定到内容发布流程里。
验收时,负责人可以让技术同事提供三项结果:两个文件能公开访问的截图、站长平台提交成功的记录、抽查若干页面地址可正常打开的确认。若站点刚完成模板套用与改版,也可以对照客户案例里的上线检查思路逐项过一遍,确保没有遗漏。
最后提醒一句:这两个文件解决的是“让搜索引擎顺利看到你的网站”,不承诺收录数量、排名或流量。真正决定效果的是内容质量、页面体验与持续运营。把 sitemap 与 robots 当作上线前必查的基础项,按清单逐条核对、每次改版后复查,就能避免大量本不该发生的“网站上线却搜不到”的问题。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 企业站SEO三件套落地指南:标题描述、H标签与内链 | 2026-10-19 |
| 移动端适配自查清单:四类高频问题怎么查怎么改 | 2026-10-19 |
| 首页加载从 5 秒到 1 秒:图片压缩、字体子集化与关键资源预加载的落地顺序 | 2026-10-19 |
| 模板套用不是复制粘贴:拿到建站模板后先改哪几处 | 2026-10-19 |
| 企业官网从零上线全流程:域名、备案、服务器到首屏访问 | 2026-10-19 |
| 伪静态与 URL 规范:动态参数页改可读路径的选型与验收清单 | 2026-10-19 |
| 企业站内容维护机制:栏目责任人、更新频率与过期信息清理的排期表 | 2026-10-19 |
| 上线前验收30项清单:表单、404、HTTPS与跨浏览器逐条核对 | 2026-10-19 |
| 企业官网上线顺序清单:备案、解析、SSL 与首屏验收 | 2026-10-20 |
| 企业站套用模板前先做结构盘点:栏目、URL、内容量反推选型 | 2026-10-20 |