发布时间:2026-11-17 05:02 更新时间:2026-11-17 05:02 阅读量:0
不少企业站在改版上线后会出现这样的现象:后台登录页、测试目录、筛选参数页被搜索引擎抓进了索引,而真正想被收录的产品页和新闻页反而抓取不顺。问题往往不在服务器,而在两个小文件上——robots.txt 和站点地图(sitemap)。它们一个负责“告诉爬虫哪里不要去”,一个负责“告诉爬虫哪里值得来”,配合写对了,抓取才顺畅;写错了,轻则浪费抓取额度,重则把整站挡在门外。这篇文章不谈深奥原理,只讲作为企业负责人该盯住哪些点、上线前怎么验收。想先看整体搭建节奏的,可以对照 建站方案 里的阶段划分来安排。
robots.txt 放在网站根目录,爬虫访问任何页面之前通常会先读它,里面的 Disallow 是“不建议抓取”的声明,属于约定而非强制手段,所以它只适合用来挡后台、挡测试环境、挡无意义的参数组合,不能当作保密措施。站点地图一般叫 sitemap.xml,是一份页面清单,把希望被抓取的重要 URL 列出来,并附上更新时间,方便爬虫安排抓取顺序。两者是互补关系:站点地图里列出的地址,不应该被 robots.txt 挡住,否则会出现“提交了却抓不到”的自我矛盾。
另一个常被忽略的点是:被 Disallow 挡住的页面,爬虫读不到页面里的 noindex 标签,所以如果你希望某个页面彻底不出现,正确做法是允许抓取但用 noindex,而不是直接屏蔽。后台这类不需要被搜到的目录,用 Disallow 屏蔽即可,不必追求“绝对消失”。
下面是一份可以直接参考的 robots.txt 结构,路径请按自己站点的真实目录替换,具体规则以搜索引擎官方文档和实际环境为准。注意 Disallow 的路径是前缀匹配,写 /admin 会连带挡住 /admin 开头的所有地址,写的时候不要多留或少留斜杠。
# robots.txt 示例,放在网站根目录
User-agent: *
Allow: /
后台与登录入口,不需要被搜索到
Disallow: /admin/
Disallow: /login
Disallow: /member/
测试与临时目录
Disallow: /test/
Disallow: /tmp/
带参数的筛选页,避免重复抓取
Disallow: /*?sort=
Disallow: /*?page=
站点地图位置声明
Sitemap: https://www.example.com/sitemap.xml
写完 robots.txt 后,站点地图要真正存在且能打开。常见做法是由建站程序或插件自动生成,也可以手工维护一个静态文件。一般建议在 sitemap 里只放正式对外、内容完整的页面,草稿页、空分类页、后台地址都不要放进去。上线后把 sitemap 地址提交到搜索引擎的站长平台,观察“已提交”和“已收录”的变化,但不要对收录速度做预期承诺,各平台处理节奏不同。
还要留意两个细节:一是 www 与非 www、http 与 https 应当统一,sitemap 里的域名要和站点实际访问域名一致;二是改版换域名时,旧域名的 robots.txt 不要立刻写死屏蔽,先确认跳转与站点地图都已切换,再做收尾,否则容易造成抓取中断。页面结构层面的规范写法,可参考 模板与定制风格 中关于栏目层级与 URL 命名的说明。
技术同事交活后,负责人不必读懂全部语法,但可以按下面几步自己验证,发现问题让开发改,比上线后再补救省事得多。
如果你希望把这份核对清单直接纳入项目验收流程,可以让开发在交付时一并提供 robots.txt 与 sitemap 的最终文件,由你按上面的条目逐项勾选。涉及具体栏目结构调整的,可参考 客户案例 中同类企业站的栏目划分方式,再决定哪些目录需要屏蔽、哪些页面要进站点地图。
robots.txt 管“别乱抓”,站点地图管“抓对地方”,两者一致、可访问、可核对,搜索引擎的抓取才会顺畅,后台目录也不会被误伤。把这两份文件当成上线交付物的一部分,而不是上线后再补的零碎配置,后续改版和加栏目都会轻松很多。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 企业站 SEO 基础设置清单:title、description、H1、canonical 与 sitemap 怎么写 | 2026-11-17 |
| 企业站接CDN:选型、回源与缓存刷新避坑指南 | 2026-11-17 |
| 首屏加载速度优化实操:图片压缩、懒加载、字体子集化与 Nginx 缓存头配置 | 2026-11-17 |
| 企业站移动端适配自查:真机逐项体验排查清单 | 2026-11-17 |
| 企业模板套用改造指南:品牌色、字体与版式模块替换实操 | 2026-11-17 |
| 给企业站加 Organization 与 LocalBusiness 结构化数据:非技术负责人也能推进的实操指南 | 2026-11-17 |
| 企业站内容维护机制:排期、权限与素材归档的长期做法 | 2026-11-17 |
| 企业官网从零上线:四周可执行排期与验收清单 | 2026-11-17 |
| 企业站模板套用后必做的改造清单:导航、色彩、首页与品牌一致 | 2026-11-17 |
| 移动端适配自查手册:设备模拟与真机测试排查错位与横向滚动 | 2026-11-17 |