企业站被恶意爬虫拉高带宽的识别与限流:从访问日志到 robots 与频率策略

    发布时间:2026-10-12 08:35 更新时间:2026-10-12 08:35 阅读量:5

    企业官网带宽突然跑高,第一反应往往是「被攻击了」,但登录服务器看一眼连接分布,常常是某个 IP 或几台云主机在固定节奏地抓取页面、图片和接口。这类抓取不一定带恶意,可对带宽是实打实的消耗:一个页面连带图片 2MB,一秒抓 5 次,一天就是 800GB 量级的流量。本文按「先看清是谁在抓,再决定怎么限」的顺序,把日志统计、robots 声明、Nginx 限流与 CDN 拦截串起来讲,最后给出一份可以直接照着推进的清单。

    一、先从访问日志里认出爬虫:看 IP、UA 与请求节奏

    Nginx 默认的 combined 日志格式已经够做初步统计。第一步不是急着封 IP,而是先量化:哪个地址、哪个 UA、集中在哪个时间窗、抓的是静态资源还是动态接口。下面几条命令按从粗到细的顺序执行,字段位置以默认 combined 格式为准,如果你改过 log_format,需要按实际字段调整。

    # 1. 统计访问量靠前的客户端 IP(第 1 列)
    awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
    
    

    2. 看这些 IP 的 UA 是否集中,判断是浏览器还是脚本

    awk '{print $1"\t"$12"\t"$13}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20

    3. 单独看某个可疑 IP 在某个小时的请求量分布

    awk '$1=="203.0.113.10"{print $4}' /var/log/nginx/access.log | cut -d: -f1-2 | sort | uniq -c | sort -rn | head

    判断上有个经验:正常用户请求 URL 分散、间隔不均;爬虫往往同一路径重复命中,或者按列表页顺序翻页,请求间隔高度规律。如果日志里大量出现空 UA、curl、python-requests 这类标识,且集中在静态资源目录,基本可以确认是抓取行为。注意不要只看单日日志,把最近 7 天拼起来看趋势,才能区分「偶发扫描」和「长期驻留抓取」。这一步做完,你应该能列出三五个主要消耗源,而不是笼统地说「有爬虫」。

    这里要提醒一句:识别之后先别急着全量封 IP。搜索引擎的正常抓取是官网收录的基础,误封的代价比多花几天带宽更大。正确的顺序是「区分合法抓取与高频抓取 → 优先用声明和限速,最后才考虑封禁」。如果你正处在建站阶段,架构上预留日志与限流能力,比事后补救省力得多,可以参考 建站方案 里关于访问层与日志规划的部分。

    二、robots 声明、Nginx 限速与 CDN 拦截的组合拳

    robots.txt 是「礼貌声明」而非强制手段,但对遵守规则的搜索引擎和部分采集器有效,成本极低,应该先做。写法上抓两个重点:屏蔽无意义的动态参数与后台路径,同时保留正常抓取入口。下面是一份示例,具体路径按你的站点结构替换。

    # /robots.txt 示例
    User-agent: *
    Disallow: /admin/
    Disallow: /search
    Disallow: /*?from=
    Crawl-delay: 2
    
    User-agent: BadBot
    Disallow: /

    声明之后是限速。Nginx 的 limit_req 与 limit_conn 是最常用的两道闸:前者按请求速率排队,后者限制单 IP 并发连接数。配置要点是「先限速、后限并发」,并把限速区放在 server 或 location 层,避免影响静态资源 CDN 回源。下面是一份可直接套用的骨架,burst 与速率需要按你的实际访问量调整,改完用 nginx -t 校验再 reload。

    # http 段定义限流区
    limit_req_zone $binary_remote_addr zone=req_per_ip:10m rate=10r/s;
    limit_conn_zone $binary_remote_addr zone=conn_per_ip:10m;
    
    

    server 或 location 段引用

    limit_req zone=req_per_ip burst=20 nodelay; limit_conn conn_per_ip 20; limit_req_status 429; limit_conn_status 429;

    对于已经上了 CDN 的站点,把限流放在 CDN 侧更划算:回源流量被挡住,源站带宽压力直接下降,也不会因为误伤影响正常访客。各家 CDN 的频控、UA 黑名单、Bot 管理能力叫法不同,具体以官方控制台和文档为准。需要强调的是,限流阈值要靠日志数据定,凭感觉设一个很小的值,正常用户会收到 429,反而影响体验。至于要不要单独买 WAF 或 Bot 管理产品,取决于你被消耗的带宽规模:如果每月因此多花的费用已经接近这类产品的价格,投入就是合理的;如果只是偶发几百 MB,先用 Nginx 自带模块顶住即可。

    三、落地清单:从发现到长期观测怎么推进

    把上面的思路整理成可执行步骤,建议按下面顺序推进,每一步都留下记录,方便复盘阈值是否合理。

    1. 开启并保留访问日志,确认 log_format 包含客户端 IP、UA、请求时间与响应字节数,至少保留 30 天;
    2. 用 awk 统计出前 20 个高频 IP 与 UA,人工判断哪些是搜索引擎、哪些是采集器;
    3. 先补全 robots.txt,屏蔽后台、搜索页与带参数的动态路径;
    4. 在 Nginx 上加 limit_req 与 limit_conn,阈值从日志观察到的正常峰值往上取一档,观察 3 天;
    5. 对确认的高频来源做针对性处理,优先在 CDN 侧拦截,其次才是源站封禁,并保留解封记录;
    6. 加一条带宽或请求量的监控告警,异常时能第一时间发现,而不是等账单出来;
    7. 每月复核一次限流日志,看 429 里有没有正常用户被误伤,及时放宽阈值。

    几个容易踩的坑:一是把限流阈值设得比正常峰值还低,导致搜索引擎抓取也吃 429,影响收录;二是只封 IP 不做限速,对方换 IP 后照抓不误;三是 robots 写得太激进,把图片目录整段屏蔽,结果图片搜索流量一起没了。限流参数没有普适值,建议先用观察模式跑几天,再逐步收紧。团队人少的话,把这套动作写成一份内部运维备忘,比每次临时登录服务器翻日志效率高得多,类似思路在我们整理过的 客户案例 中也有体现,可作延伸参考。

    恶意爬虫带来的带宽问题,本质是「可观测性 + 分层拦截」两件事:先用日志说清是谁在消耗,再用 robots 声明、Nginx 限速和 CDN 拦截逐层削减。把阈值定在数据上而不是感觉上,既挡住异常抓取,也不误伤正常访客和搜索引擎,带宽账单自然会回落到合理区间。

    准备做网站,先从哪一步开始?

    如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。

    继续阅读

    📑 📅
    官网改版前做一次服务器容量回归:用旧站日志估并发与数据库压力 2026-10-12
    企业站静态化到什么程度最划算:三种方案与服务器配置影响 2026-10-12
    服务器带宽按峰值买还是按95计费:活动页与投放日怎么选 2026-10-12
    企业官网定时任务与访问高峰撞车:错峰排期思路 2026-10-12
    从客服咨询表单提交失败率反推服务器资源 2026-10-12
    同一台服务器分环境:官网、测试站与演示站隔离实践 2026-10-12
    企业站对象存储与服务器本地磁盘怎么分工:图片、附件、备份三类数据 2026-10-12
    外贸站配合 Google 抓取优化服务器响应:TTFB、robots 与 sitemap 检查清单 2026-10-12
    企业站上线首月服务器体检清单:用访问日志反推真实负载 2026-10-13
    服务器配置买高了还是买低了:一周监控数据反推余量 2026-10-13