发布时间:2026-10-12 08:35 更新时间:2026-10-12 08:35 阅读量:5
企业官网带宽突然跑高,第一反应往往是「被攻击了」,但登录服务器看一眼连接分布,常常是某个 IP 或几台云主机在固定节奏地抓取页面、图片和接口。这类抓取不一定带恶意,可对带宽是实打实的消耗:一个页面连带图片 2MB,一秒抓 5 次,一天就是 800GB 量级的流量。本文按「先看清是谁在抓,再决定怎么限」的顺序,把日志统计、robots 声明、Nginx 限流与 CDN 拦截串起来讲,最后给出一份可以直接照着推进的清单。
Nginx 默认的 combined 日志格式已经够做初步统计。第一步不是急着封 IP,而是先量化:哪个地址、哪个 UA、集中在哪个时间窗、抓的是静态资源还是动态接口。下面几条命令按从粗到细的顺序执行,字段位置以默认 combined 格式为准,如果你改过 log_format,需要按实际字段调整。
# 1. 统计访问量靠前的客户端 IP(第 1 列)
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
2. 看这些 IP 的 UA 是否集中,判断是浏览器还是脚本
awk '{print $1"\t"$12"\t"$13}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
3. 单独看某个可疑 IP 在某个小时的请求量分布
awk '$1=="203.0.113.10"{print $4}' /var/log/nginx/access.log | cut -d: -f1-2 | sort | uniq -c | sort -rn | head
判断上有个经验:正常用户请求 URL 分散、间隔不均;爬虫往往同一路径重复命中,或者按列表页顺序翻页,请求间隔高度规律。如果日志里大量出现空 UA、curl、python-requests 这类标识,且集中在静态资源目录,基本可以确认是抓取行为。注意不要只看单日日志,把最近 7 天拼起来看趋势,才能区分「偶发扫描」和「长期驻留抓取」。这一步做完,你应该能列出三五个主要消耗源,而不是笼统地说「有爬虫」。
这里要提醒一句:识别之后先别急着全量封 IP。搜索引擎的正常抓取是官网收录的基础,误封的代价比多花几天带宽更大。正确的顺序是「区分合法抓取与高频抓取 → 优先用声明和限速,最后才考虑封禁」。如果你正处在建站阶段,架构上预留日志与限流能力,比事后补救省力得多,可以参考 建站方案 里关于访问层与日志规划的部分。
robots.txt 是「礼貌声明」而非强制手段,但对遵守规则的搜索引擎和部分采集器有效,成本极低,应该先做。写法上抓两个重点:屏蔽无意义的动态参数与后台路径,同时保留正常抓取入口。下面是一份示例,具体路径按你的站点结构替换。
# /robots.txt 示例
User-agent: *
Disallow: /admin/
Disallow: /search
Disallow: /*?from=
Crawl-delay: 2
User-agent: BadBot
Disallow: /
声明之后是限速。Nginx 的 limit_req 与 limit_conn 是最常用的两道闸:前者按请求速率排队,后者限制单 IP 并发连接数。配置要点是「先限速、后限并发」,并把限速区放在 server 或 location 层,避免影响静态资源 CDN 回源。下面是一份可直接套用的骨架,burst 与速率需要按你的实际访问量调整,改完用 nginx -t 校验再 reload。
# http 段定义限流区
limit_req_zone $binary_remote_addr zone=req_per_ip:10m rate=10r/s;
limit_conn_zone $binary_remote_addr zone=conn_per_ip:10m;
server 或 location 段引用
limit_req zone=req_per_ip burst=20 nodelay;
limit_conn conn_per_ip 20;
limit_req_status 429;
limit_conn_status 429;
对于已经上了 CDN 的站点,把限流放在 CDN 侧更划算:回源流量被挡住,源站带宽压力直接下降,也不会因为误伤影响正常访客。各家 CDN 的频控、UA 黑名单、Bot 管理能力叫法不同,具体以官方控制台和文档为准。需要强调的是,限流阈值要靠日志数据定,凭感觉设一个很小的值,正常用户会收到 429,反而影响体验。至于要不要单独买 WAF 或 Bot 管理产品,取决于你被消耗的带宽规模:如果每月因此多花的费用已经接近这类产品的价格,投入就是合理的;如果只是偶发几百 MB,先用 Nginx 自带模块顶住即可。
把上面的思路整理成可执行步骤,建议按下面顺序推进,每一步都留下记录,方便复盘阈值是否合理。
几个容易踩的坑:一是把限流阈值设得比正常峰值还低,导致搜索引擎抓取也吃 429,影响收录;二是只封 IP 不做限速,对方换 IP 后照抓不误;三是 robots 写得太激进,把图片目录整段屏蔽,结果图片搜索流量一起没了。限流参数没有普适值,建议先用观察模式跑几天,再逐步收紧。团队人少的话,把这套动作写成一份内部运维备忘,比每次临时登录服务器翻日志效率高得多,类似思路在我们整理过的 客户案例 中也有体现,可作延伸参考。
恶意爬虫带来的带宽问题,本质是「可观测性 + 分层拦截」两件事:先用日志说清是谁在消耗,再用 robots 声明、Nginx 限速和 CDN 拦截逐层削减。把阈值定在数据上而不是感觉上,既挡住异常抓取,也不误伤正常访客和搜索引擎,带宽账单自然会回落到合理区间。
如果你希望把上面的思路落到自己的行业与目标市场,可以先看 建站方案 了解一站式流程,再对照 客户案例 判断哪些做法适合自己的业务;也可以加微信 tsrz001 沟通需求,把页面结构、预算和排期先聊清楚再动手。
| 📑 | 📅 |
|---|---|
| 官网改版前做一次服务器容量回归:用旧站日志估并发与数据库压力 | 2026-10-12 |
| 企业站静态化到什么程度最划算:三种方案与服务器配置影响 | 2026-10-12 |
| 服务器带宽按峰值买还是按95计费:活动页与投放日怎么选 | 2026-10-12 |
| 企业官网定时任务与访问高峰撞车:错峰排期思路 | 2026-10-12 |
| 从客服咨询表单提交失败率反推服务器资源 | 2026-10-12 |
| 同一台服务器分环境:官网、测试站与演示站隔离实践 | 2026-10-12 |
| 企业站对象存储与服务器本地磁盘怎么分工:图片、附件、备份三类数据 | 2026-10-12 |
| 外贸站配合 Google 抓取优化服务器响应:TTFB、robots 与 sitemap 检查清单 | 2026-10-12 |
| 企业站上线首月服务器体检清单:用访问日志反推真实负载 | 2026-10-13 |
| 服务器配置买高了还是买低了:一周监控数据反推余量 | 2026-10-13 |