宝塔面板站点被搜索引擎抓取异常频繁:UA白名单与抓取频率限制的Nginx写法

    发布时间:2026-09-29 05:00 更新时间:2026-09-29 05:00 阅读量:10

    站点上线一段时间后,宝塔面板里的访问日志会慢慢变得很热闹。有人发现百度、必应、谷歌的蜘蛛来得很正常,但另一些请求的 User-Agent 里塞满了乱七八糟的字符串,一秒几十次地扫全站;也有人反过来,正常收录没涨多少,日志里却天天出现同一批抓取 IP,把带宽和 PHP 进程占得满满的。这两种情况处理思路完全不同:前者是正常收录,动它等于自断流量;后者才需要限速甚至拦截。下面从日志统计讲起,一路落到 robots.txt 与 Nginx 的 UA 白名单和频率限制写法。

    一、先从日志分清谁在抓、抓得对不对

    宝塔面板的网站日志默认在 /www/wwwlogs/ 目录下,按域名命名,例如 www.exb1.com.log。先别急着写规则,用几条命令把抓取情况摸清楚,比凭感觉封 IP 靠谱得多。

    统计各 User-Agent 的请求量,按次数倒序取前 20:

    cd /www/wwwlogs
    awk -F'"' '{print $6}' www.exb1.com.log | sort | uniq -c | sort -rn | head -20

    看某个疑似爬虫的请求路径分布,判断它是在正常抓页面还是漫无目的地扫:

    grep -i "bytespider" www.exb1.com.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -30

    再统计单个 IP 的请求量,找出高频来源:

    awk '{print $1}' www.exb1.com.log | sort | uniq -c | sort -rn | head -20

    日志字段顺序取决于宝塔默认的 log_format,如果之前改过格式,字段位置会变,以实际配置为准。判断的要点有三个:请求量是否远超正常收录节奏、路径是否集中在登录页和接口、返回状态码里 404 与 403 占比是否偏高。真正的主流搜索引擎蜘蛛通常有稳定的反向解析域名,可以用 host 或 dig -x 做正向确认,不要只看 UA 字符串,UA 是可以随便伪造的。

    二、robots.txt 先把边界说清楚

    robots.txt 放在站点根目录,只能约束守规矩的爬虫,对恶意程序没有强制力,但它是成本最低的第一步。常见写法是放开全站、屏蔽后台和动态参数,并声明 sitemap:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Disallow: /*?s=
    Disallow: /search/
    
    User-agent: Bytespider
    Crawl-delay: 10
    
    Sitemap: https://www.exb1.com/sitemap.xml

    注意两点:一是 Disallow 只是请求层面的建议,被屏蔽的页面如果已经被收录,不会自动消失;二是不要用 robots.txt 去挡 CSS、JS 或整站目录,否则搜索引擎无法正确渲染页面,收录质量反而下降。真正想限制频率,还得靠服务器层。

    三、Nginx 层白名单与抓取频率限制怎么写

    宝塔面板里每个站点的 Nginx 配置可以在「网站 → 设置 → 配置文件」中修改。思路是先用 map 把常见搜索引擎的 User-Agent 标记为白名单,再用 limit_req 对非白名单请求限速。这样正常收录不受影响,异常抓取会被压到很低的速率。

    第一步,在 http 段(宝塔中可写在站点配置文件的 server 段之前,或放入单独的 conf 文件被 include)定义映射和限速区:

    map $http_user_agent $is_good_bot {
        default 0;
        ~*(baiduspider|sogou|360spider|bingbot|googlebot|yandexbot|bytespider) 1;
    }
    
    limit_req_zone $binary_remote_addr zone=crawl_limit:10m rate=2r/s;
    limit_req_status 429;

    第二步,在 server 段中根据标记做条件限速。Nginx 的 limit_req 不能直接写在 if 里,常用做法是借助一个内部变量再判断,配置示例:

    set $limit_key "";
    if ($is_good_bot = 0) {
        set $limit_key $binary_remote_addr;
    }
    
    location / {
        limit_req zone=crawl_limit burst=5 nodelay;
        try_files $uri $uri/ /index.php?$args;
    }

    这里 rate=2r/s 表示每个来源 IP 平均每秒 2 个请求,burst=5 允许短时突发 5 个,nodelay 让突发请求立即处理而不是排队。数值要结合站点实际访问量调整,静态资源多的站点可以适当放宽。改完后用 nginx -t 检查语法,再 nginx -s reload 或直接在宝塔面板点重载,重载失败面板会提示错误行号。

    如果确认某个 IP 段长期恶意抓取,可以在「网站 → 设置 → 网站防火墙」或 Nginx 配置里单独 deny,但建议先限速观察几天,避免误封共享出口 IP 导致正常用户无法访问。对带参数的动态请求,还可以配合 limit_req 单独给 location ~ \.php$ 加一层更严格的限制。

    四、验证与避坑

    规则上线后要回头看效果。用 tail -f /www/wwwlogs/www.exb1.com.log 实时观察,或再次用前面的 awk 统计命令对比请求量变化。也可以本地模拟一个非白名单 UA 测试限速是否生效:

    for i in $(seq 1 20); do
      curl -s -o /dev/null -w "%{http_code}\n" -A "test-crawler" https://www.exb1.com/
    done

    如果返回中大量出现 429,说明限速生效;如果全是 200,则要检查 map 规则是否被后续配置覆盖、站点是否走了 CDN。走 CDN 时源站看到的是节点 IP,限速对象会变成 CDN 节点,这时应先按前面讲过的 real_ip 配置还原真实访客 IP,再谈限速,否则容易把整个 CDN 的回源请求一起限掉。

    最后提醒一句:搜索引擎蜘蛛的 UA 和 IP 段会随官方调整变化,白名单不要写得太死,也不要长期依赖单一特征。比较稳妥的组合是 robots.txt 声明边界、Nginx 限速兜底、日志定期复盘,三者配合既能保住正常收录,又能把异常抓取控制在可接受范围内。后续如果站点流量上涨,再回头调整 rate 和 burst 的取值即可。

    继续阅读

    📑 📅
    服务器只开放 80/443 后宝塔面板与数据库怎么管:SSH 隧道、跳板与临时放行的取舍 2026-09-28
    www与裸域配置不统一:证书、缓存、统计三道坎怎么理 2026-09-28
    WordPress主题functions.php写错整站白屏:FTP改回与报错定位 2026-09-28
    宝塔网站目录改777反被挂马:权限位与属主正确给法 2026-09-28
    Nginx 日志大量 400 错误:特征识别与拦截思路 2026-09-28
    网站换域名后301跳转全流程:DNS、Nginx与收录改址 2026-09-29
    WordPress附件库臃肿:按月分目录、清理wp_posts与CDN回源调整 2026-09-29
    宝塔面板多站点共用服务器MySQL连接数被打满的排查思路 2026-09-29
    网站上线前DNS预检清单:A/CNAME/MX/TXT记录核对与TTL切换节奏 2026-09-29
    Nginx 与 PHP-FPM:Unix socket 还是 TCP,怎么选怎么切 2026-09-30