发布时间:2026-10-24 08:35 更新时间:2026-10-24 08:35 阅读量:0
很多企业官网在改版上线后,负责人会问同一个问题:网站明明做好了,为什么搜索引擎里只出现首页,栏目页和产品页几乎搜不到。原因往往不在设计,而在两个不起眼的小文件——robots.txt 和 sitemap.xml。前者告诉搜索引擎哪些地址可以抓、哪些不要抓,后者相当于一张站点地图,列出你希望被发现的页面。它们配置得当,栏目与产品页才有机会被正常发现;配置随意,可能把整站挡在门外。下面从「该不该管、怎么定、怎么验收」三个角度讲清楚,不需要技术背景也能推动落实。
如果你还在整体规划阶段,可以先看 建站方案 了解栏目结构怎么定,因为这两个文件的写法,本质上取决于你的栏目和产品页规划是否清晰。
robots.txt 放在网站根目录,是给搜索引擎爬虫看的「访问说明」。它不负责让页面被收录,只决定爬虫能否抓取某个路径。常见误区是把它当成「屏蔽工具」:改版期间把整站设为禁止抓取,上线后忘了删,结果搜索引擎长时间看不到新页面。反过来,也有人把后台、测试目录写进 sitemap,等于主动邀请爬虫去抓不该公开的地址。
sitemap.xml 则是你主动提交的页面清单,适合列出栏目页、产品详情页、新闻列表等希望被发现的地址。它不能保证页面被收录,但能减少「页面藏在深层链接里、爬虫找不到」的情况。企业站常见问题是产品页靠筛选参数生成、栏目层级过深,这时 sitemap 的价值更明显。
两个文件的关系可以这样理解:robots.txt 是门卫,决定谁能进;sitemap.xml 是导览图,告诉进来的爬虫该去哪。门卫规则写错,导览图再全也没用。
第一类问题是「误屏蔽」。改版时为了不让旧页面被看到,临时写了禁止抓取,上线后没有清理;或者为了「安全」把整个目录屏蔽,连产品页一起挡掉。第二类是「重复地址」:同一产品页通过不同参数生成多个地址,爬虫反复抓取同一内容,浪费抓取额度。第三类是「sitemap 长期不更新」,新增的产品页和栏目页没有进入清单。
配置思路不复杂:公开栏目和产品页允许抓取,后台、临时目录、内部搜索页明确禁止;sitemap 只放希望被发现的正式页面,并保持与栏目结构同步。下面是一份可直接参考的示例,实际路径请按你的站点目录调整,以搜索引擎官方文档和实际环境为准。
# robots.txt 示例,放在网站根目录
User-agent: *
Allow: /
不希望被爬虫抓取的目录
Disallow: /admin/
Disallow: /tmp/
Disallow: /search/
声明站点地图地址
Sitemap: https://www.example.com/sitemap.xml
sitemap.xml 建议由建站程序或插件自动生成,避免手工维护。如果站点页面不多,也可以手工列出主要栏目与产品页。示例结构如下,其中 loc 写完整地址,lastmod 写最近修改日期即可,不必追求精确到分钟。
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/</loc>
<lastmod>2026-10-01</lastmod>
</url>
<url>
<loc>https://www.example.com/products/</loc>
<lastmod>2026-10-01</lastmod>
</url>
<url>
<loc>https://www.example.com/products/item-a.html</loc>
<lastmod>2026-10-01</lastmod>
</url>
</urlset>
需要提醒的是,不同搜索引擎对规则的细节支持略有差异,具体以各搜索引擎官方文档为准;配置后不要指望立刻变化,抓取和收录都需要时间,本站不对收录、排名、流量作任何承诺。
对不写代码的负责人来说,重点不是自己改文件,而是把要求讲清楚、把验收做扎实。可以按下面的步骤推进,交给建站服务商或内部技术同事执行,你负责确认结果。
验收时还可以顺手看两件事:一是用站长平台的抓取测试工具检查几个产品页地址,确认没有被规则误挡;二是抽查 sitemap 中的链接能否正常打开,避免出现死链。产品页较多的企业站,建议把这一步列入上线验收单,而不是上线后再补。关于栏目和页面结构怎么规划,可参考 模板与定制风格 中的页面组织思路;如果希望看实际项目怎么落地,可以浏览 客户案例。
最后提醒一个容易被忽略的点:这两个文件属于「长期有效」的配置,不是上线时做一次就结束。后续做活动页、增加产品分类、调整栏目地址时,都要回头确认规则没有把新页面挡掉。把这项检查写进你的网站维护清单,比事后排查省事得多。robots.txt 与 sitemap.xml 做对了,栏目与产品页才具备被正常发现的基础条件。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 企业站 SEO 三件套:title、description、H1 怎么写与批量自查 | 2026-10-24 |
| Nginx 开启 gzip 与浏览器缓存:企业站提速配置与验收清单 | 2026-10-24 |
| 企业官网首页加载速度优化:图片压缩、懒加载与缓存头组合配置 | 2026-10-24 |
| 模板站移动端适配实测:模拟器与真机对比排查 | 2026-10-24 |
| 建站模板套用后必做的12处改动 | 2026-10-24 |
| 模板站 URL 结构改造:动态参数链接如何改成静态路径并做好页面重定向 | 2026-10-24 |
| 企业官网 TDK 批量维护:栏目变多后表格管理标题与描述 | 2026-10-24 |
| 企业官网从零上线:域名、备案、云服务器到首屏可访问 | 2026-10-25 |
| 企业网站模板套用实操:目录梳理、换Logo文案与主色 | 2026-10-25 |
| 企业官网从零上线全流程:备案、服务器、模板到验收 | 2026-10-25 |