发布时间:2026-10-19 05:02 更新时间:2026-10-19 05:02 阅读量:5
不少企业站上线后,站长在搜索资源平台里看到抓取记录,才发现后台登录页、测试目录、安装包目录都被爬虫访问过。问题往往不在程序,而在两件小文件没有配好:robots.txt 决定爬虫“别去哪”,sitemap.xml 告诉爬虫“该去哪”。这两份文件加起来不到几 KB,却直接影响站点被抓取的质量与安全边界。下面按企业主能看懂的方式讲清原理、配置范围和自动生成办法。
robots.txt 放在网站根目录,例如 https://www.example.com/robots.txt,爬虫访问任何页面之前一般会先读它。它给出的是爬虫抓取建议,主流搜索引擎会遵守,但这不等于访问控制——被屏蔽的地址依然可能被外部链接指向而出现在结果里。所以真正的私密内容要靠登录验证和权限控制,robots.txt 只负责减少无效抓取。
企业站通常需要屏蔽以下几类目录:后台与登录入口、程序安装与升级目录、上传的临时文件与备份文件、内部测试或演示目录、搜索结果与筛选参数页、带会话参数的动态地址。不要把整站 CSS、JS、图片目录一起屏蔽,否则搜索引擎渲染页面时拿不到样式,反而影响页面质量判断。具体目录名以你所用程序的实际结构为准,改版后要及时复核,避免沿用旧模板的路径。
User-agent: *
Disallow: /admin/
Disallow: /install/
Disallow: /backup/
Disallow: /test/
Disallow: /tmp/
Disallow: /*?sid=
Disallow: /search/
Allow: /uploads/
Sitemap: https://www.example.com/sitemap.xml
注意两个细节:一是 Disallow 后面写路径前缀,不要写完整域名;二是 Sitemap 行要用绝对地址,写错协议或域名会导致解析失败。上线后用浏览器直接访问这两份文件,确认返回 200 且内容为纯文本,不要被程序改写成 HTML 页面。
站点地图本质是一份列出页面地址和更新时间的 XML 清单,帮助爬虫发现新页面。企业站页面数量不多时也可以手工维护,但一旦栏目更新频繁,手写必然漏页。常规做法有三种:使用建站程序自带的站点地图插件或模块;用 CMS 的定时任务在发布内容时自动刷新;用命令行工具扫描已发布页面生成。选哪种取决于你的程序生态,具体以官方文档为准。
以常见的静态站点生成方式为例,可以在发布流程里加一步生成 sitemap,把输出文件放到网站根目录。下面是一个示意命令,实际参数需按你的工具与目录调整:
# 示例:用站点地图生成工具扫描已发布目录
工具与参数以官方文档为准
sitemap-generator \
--base-url https://www.example.com \
--output ./public/sitemap.xml \
--exclude /admin/ /install/ /test/
生成后要检查三件事:地址是否为正式域名、是否混入了已屏蔽的目录、lastmod 时间是否随内容更新而变化。站点地图里只放希望被收录的页面,别把后台、分页参数页、重复内容页塞进去。地图文件建议控制在几万条地址以内,页面多时按栏目拆成多个子地图并用索引文件汇总,具体上限以搜索引擎官方说明为准。
提交环节同样简单:在搜索引擎的站长或资源平台里填写 sitemap 地址,robots.txt 里也保留 Sitemap 行作为补充。提交只是告知,不承诺收录速度与排名,收录情况仍需以平台后台的实际数据为准。
企业主不需要自己写配置,但要能验收。把下面这份清单交给建站方或运维人员,逐项确认后再上线,能省掉后期大量返工。
如果站点还在规划阶段,建议先把栏目结构和目录命名定下来,再配置这两份文件,能减少后续反复调整。栏目规划与目录结构可参考建站方案中的梳理思路,改版前也可以看看客户案例里同类企业站的信息架构,帮助判断哪些页面属于对外展示、哪些应留在内部。
总结一句:robots.txt 划清抓取边界,sitemap.xml 交出对外页面清单,两者配合、定期复核,企业站才能在可控范围内被搜索引擎正常发现。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 企业官网SEO基础设置:title、description、H1与面包屑的规范写法 | 2026-10-19 |
| 企业站首屏体验调优:关键CSS、字体与第三方脚本怎么做 | 2026-10-19 |
| 企业站首页体积怎么降:图片压缩、懒加载、WebP三步走 | 2026-10-19 |
| 移动端适配自查:企业站横向滚动与字号过小怎么查 | 2026-10-19 |
| 企业模板改品牌色:CSS变量配色替换实操清单 | 2026-10-19 |
| 企业站结构化数据入门:给公司信息加Organization标记 | 2026-10-19 |
| 企业官网从零上线全流程:域名、备案、服务器到首屏访问 | 2026-10-19 |
| 模板套用不是复制粘贴:拿到建站模板后先改哪几处 | 2026-10-19 |
| 首页加载从 5 秒到 1 秒:图片压缩、字体子集化与关键资源预加载的落地顺序 | 2026-10-19 |
| 移动端适配自查清单:四类高频问题怎么查怎么改 | 2026-10-19 |