发布时间:2026-09-29 05:00 更新时间:2026-09-29 05:00 阅读量:10
站点上线一段时间后,宝塔面板里的访问日志会慢慢变得很热闹。有人发现百度、必应、谷歌的蜘蛛来得很正常,但另一些请求的 User-Agent 里塞满了乱七八糟的字符串,一秒几十次地扫全站;也有人反过来,正常收录没涨多少,日志里却天天出现同一批抓取 IP,把带宽和 PHP 进程占得满满的。这两种情况处理思路完全不同:前者是正常收录,动它等于自断流量;后者才需要限速甚至拦截。下面从日志统计讲起,一路落到 robots.txt 与 Nginx 的 UA 白名单和频率限制写法。
宝塔面板的网站日志默认在 /www/wwwlogs/ 目录下,按域名命名,例如 www.exb1.com.log。先别急着写规则,用几条命令把抓取情况摸清楚,比凭感觉封 IP 靠谱得多。
统计各 User-Agent 的请求量,按次数倒序取前 20:
cd /www/wwwlogs
awk -F'"' '{print $6}' www.exb1.com.log | sort | uniq -c | sort -rn | head -20看某个疑似爬虫的请求路径分布,判断它是在正常抓页面还是漫无目的地扫:
grep -i "bytespider" www.exb1.com.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30再统计单个 IP 的请求量,找出高频来源:
awk '{print $1}' www.exb1.com.log | sort | uniq -c | sort -rn | head -20日志字段顺序取决于宝塔默认的 log_format,如果之前改过格式,字段位置会变,以实际配置为准。判断的要点有三个:请求量是否远超正常收录节奏、路径是否集中在登录页和接口、返回状态码里 404 与 403 占比是否偏高。真正的主流搜索引擎蜘蛛通常有稳定的反向解析域名,可以用 host 或 dig -x 做正向确认,不要只看 UA 字符串,UA 是可以随便伪造的。
robots.txt 放在站点根目录,只能约束守规矩的爬虫,对恶意程序没有强制力,但它是成本最低的第一步。常见写法是放开全站、屏蔽后台和动态参数,并声明 sitemap:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /*?s=
Disallow: /search/
User-agent: Bytespider
Crawl-delay: 10
Sitemap: https://www.exb1.com/sitemap.xml注意两点:一是 Disallow 只是请求层面的建议,被屏蔽的页面如果已经被收录,不会自动消失;二是不要用 robots.txt 去挡 CSS、JS 或整站目录,否则搜索引擎无法正确渲染页面,收录质量反而下降。真正想限制频率,还得靠服务器层。
宝塔面板里每个站点的 Nginx 配置可以在「网站 → 设置 → 配置文件」中修改。思路是先用 map 把常见搜索引擎的 User-Agent 标记为白名单,再用 limit_req 对非白名单请求限速。这样正常收录不受影响,异常抓取会被压到很低的速率。
第一步,在 http 段(宝塔中可写在站点配置文件的 server 段之前,或放入单独的 conf 文件被 include)定义映射和限速区:
map $http_user_agent $is_good_bot {
default 0;
~*(baiduspider|sogou|360spider|bingbot|googlebot|yandexbot|bytespider) 1;
}
limit_req_zone $binary_remote_addr zone=crawl_limit:10m rate=2r/s;
limit_req_status 429;第二步,在 server 段中根据标记做条件限速。Nginx 的 limit_req 不能直接写在 if 里,常用做法是借助一个内部变量再判断,配置示例:
set $limit_key "";
if ($is_good_bot = 0) {
set $limit_key $binary_remote_addr;
}
location / {
limit_req zone=crawl_limit burst=5 nodelay;
try_files $uri $uri/ /index.php?$args;
}这里 rate=2r/s 表示每个来源 IP 平均每秒 2 个请求,burst=5 允许短时突发 5 个,nodelay 让突发请求立即处理而不是排队。数值要结合站点实际访问量调整,静态资源多的站点可以适当放宽。改完后用 nginx -t 检查语法,再 nginx -s reload 或直接在宝塔面板点重载,重载失败面板会提示错误行号。
如果确认某个 IP 段长期恶意抓取,可以在「网站 → 设置 → 网站防火墙」或 Nginx 配置里单独 deny,但建议先限速观察几天,避免误封共享出口 IP 导致正常用户无法访问。对带参数的动态请求,还可以配合 limit_req 单独给 location ~ \.php$ 加一层更严格的限制。
规则上线后要回头看效果。用 tail -f /www/wwwlogs/www.exb1.com.log 实时观察,或再次用前面的 awk 统计命令对比请求量变化。也可以本地模拟一个非白名单 UA 测试限速是否生效:
for i in $(seq 1 20); do
curl -s -o /dev/null -w "%{http_code}\n" -A "test-crawler" https://www.exb1.com/
done如果返回中大量出现 429,说明限速生效;如果全是 200,则要检查 map 规则是否被后续配置覆盖、站点是否走了 CDN。走 CDN 时源站看到的是节点 IP,限速对象会变成 CDN 节点,这时应先按前面讲过的 real_ip 配置还原真实访客 IP,再谈限速,否则容易把整个 CDN 的回源请求一起限掉。
最后提醒一句:搜索引擎蜘蛛的 UA 和 IP 段会随官方调整变化,白名单不要写得太死,也不要长期依赖单一特征。比较稳妥的组合是 robots.txt 声明边界、Nginx 限速兜底、日志定期复盘,三者配合既能保住正常收录,又能把异常抓取控制在可接受范围内。后续如果站点流量上涨,再回头调整 rate 和 burst 的取值即可。
| 📑 | 📅 |
|---|---|
| 服务器只开放 80/443 后宝塔面板与数据库怎么管:SSH 隧道、跳板与临时放行的取舍 | 2026-09-28 |
| www与裸域配置不统一:证书、缓存、统计三道坎怎么理 | 2026-09-28 |
| WordPress主题functions.php写错整站白屏:FTP改回与报错定位 | 2026-09-28 |
| 宝塔网站目录改777反被挂马:权限位与属主正确给法 | 2026-09-28 |
| Nginx 日志大量 400 错误:特征识别与拦截思路 | 2026-09-28 |
| 网站换域名后301跳转全流程:DNS、Nginx与收录改址 | 2026-09-29 |
| WordPress附件库臃肿:按月分目录、清理wp_posts与CDN回源调整 | 2026-09-29 |
| 宝塔面板多站点共用服务器MySQL连接数被打满的排查思路 | 2026-09-29 |
| 网站上线前DNS预检清单:A/CNAME/MX/TXT记录核对与TTL切换节奏 | 2026-09-29 |
| Nginx 与 PHP-FPM:Unix socket 还是 TCP,怎么选怎么切 | 2026-09-30 |