踩过蜘蛛疯爬坑的我：手把手教你摸透宝塔蜘蛛访问限制设置

先唠个蜘蛛疯爬把我整emo的踩坑故事打底

前阵子我那个攒了三个月、刚更新到50篇原创的美食探店号，后台访问日志差点把我宝塔给“撑炸膛”（夸张但真的吓人！CPU直接飙红半小时那种）——点进去一看，好家伙，全是一堆奇奇怪怪的蜘蛛IP：俄罗斯套娃似的套着IP地址、有的连UA头都编得乱七八糟像菜市场捡的烂菜叶子混贴的、翻页比我妈逛拼多多砍免单点秒杀还快！

懂行的朋友说这是“爬虫小偷+恶意爬虫搞双重暴击”：原创爬虫偷菜梗偷图片就算了，恶意蜘蛛就是故意爬爆你带宽占你资源，让正常搜索引擎蜘蛛都挤不上号蹭不上你新鲜出炉的热乎文章！那时候我急得像热锅上的蚂蚁摸不着头脑，赶紧翻遍了B站、知乎、宝塔官方论坛，前前后后踩了不下10个坑（比如直接拉黑俄罗斯IP误伤了正常网友、屏蔽规则太松没挡住疯爬、太严连百度谷歌都赶跑了），才终于摸透了宝塔蜘蛛访问限制设置的精髓！

今天我就像楼下炸串摊老板递免费生菜似的，把这招儿宝塔蜘蛛访问限制设置的“防疯爬组合拳套餐”完完整整掏给你，咱普通人也能把网站的“家门”焊得严严实实的，只给百度谷歌360这些正经的“外卖员蜘蛛”开门送单，小偷小摸瞎凑热闹的全挡在外头蹲墙根！

第一步：先给咱们网站的“门禁系统”装个眼睛——看日志识别蜘蛛身份！

搞宝塔蜘蛛访问限制设置之前，咱得先搞清楚谁是好人谁是坏人对吧？不然一顿瞎操作把百度蜘蛛给锁门外头，你那几十篇原创文章就真成没人看的“压箱底存粮”了！

好眼睛在哪儿？就在宝塔面板的网站栏里！点你要搞宝塔蜘蛛访问限制设置的那个网站名，进去之后拉到最下面，有个大大的日志选项，点进去选访问日志，直接就能看到最近访问你网站的所有IP和对应的UA头（UA头就是蜘蛛/浏览器的“身份证复印件”！正经蜘蛛都会把自己名字大大方方写在上面，比如百度蜘蛛是“Baiduspider”，谷歌是“Googlebot”，360是“360Spider”）！

咱先捋一遍坏人蜘蛛的“烂身份证”特征：

• UA头要么是空的要么乱七八糟，比如写着“Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0”但翻页频率一秒钟10次以上——正常人哪有这手速？
• IP地址扎堆在一个冷门的小国家或者国内某个不知名的小IDC机房（正经搜索引擎蜘蛛的IP百度一搜就能查到官方范围！比如百度蜘蛛IP一般是北京、上海、深圳这些大城市的大IP段）！
• 翻页路径特别奇怪，比如专门爬你后台登录地址的备份文件、爬你数据库的隐藏入口——这种就是纯纯的小偷爬虫了！

土味正能量环节：人不可貌相海水不可斗量，但蜘蛛不可UA乱量翻页不可频率瞎量！咱多留点心眼子，坏人蜘蛛就无处遁形！

第二步：正式上宝塔蜘蛛访问限制设置组合拳第一招——规则式门禁！

识别完好人坏人，咱就该给正经蜘蛛发“永久门禁卡”，给坏人贴“禁止入内”的大字报了！规则式门禁是宝塔蜘蛛访问限制设置里最基础也最实用的一招，操作简单到像炸串老板炸土豆片——炸30秒捞起来撒盐就行！

第一小招：先给正经外卖员蜘蛛开绿色通道！

咱不能光防坏人忘了伺候好衣食父母（哦不对是搜索引擎蜘蛛，它们可是给咱们网站送流量的财神爷化身！），所以搞宝塔蜘蛛访问限制设置的第一步，先把正经蜘蛛都加到白名单里，让它们随便逛随便拍！

操作步骤：

1. 打开宝塔面板→点左侧菜单栏的软件商店→找到你网站用的Web服务器（一般是Apache或者Nginx，我用的是Nginx，就以Nginx为例哈！）→点设置！
2. 在弹出的设置框里，找到顶部的网站→还是选你要搞宝塔蜘蛛访问限制设置的网站名→点后面的伪静态/防盗链/黑名单/防火墙的防火墙！哦不对Nginx的话应该是先点配置修改？不对不对等下我踩过这个坑！最新版的宝塔面板，不管是Apache还是Nginx，都可以直接在网站防火墙的全局规则或者单站规则里加白名单UA！
3. 咱用单站规则更稳妥哈！点单站规则→找到你要搞的网站→点蜘蛛限制！哦对了！最新版宝塔直接有个蜘蛛限制的单独选项！省了咱们自己写代码的麻烦！
4. 在蜘蛛限制里，先勾选启用白名单模式（重点！勾选白名单模式之后，只有白名单里的蜘蛛能进，其他的都挡在外头！比黑名单模式省心多了！）→然后把下面官方推荐的正经蜘蛛全勾上：百度、谷歌、360、搜狗、必应、神马（如果是移动端为主的网站必勾！）、头条搜索（现在头条搜索流量也不小哦！）！
5. 最后点一下大大的保存！第一小招搞定！

代码块给那些喜欢自己动手DIY的老伙计看一下（其实最新版不用写，但万一你用的是旧版宝塔呢？）：

```nginx 旧版Nginx蜘蛛白名单代码，放在server块里就行 if ($http_user_agent !~ "Baiduspider|Googlebot|360Spider|Sogou web spider|Sogou inst spider|bingbot|Yisouspider|ByteDanceSpider") { return 403; } ```

重点加粗一下哈：旧版代码里的ByteDanceSpider就是头条搜索的蜘蛛UA！千万别漏了！土味正能量环节：好的开始是成功的一半，白名单模式一开，正经蜘蛛随便嗨，恶意爬虫哭唧唧！

第二小招：如果白名单模式太严，那就用“半放半收”的频率限制！

有些老伙计说：“我网站刚起步，除了正经蜘蛛，还有好多站长朋友过来换链接、好多网友用爬虫工具查关键词排名，白名单模式会不会把他们也挡在外头？”别慌！第二小招宝塔蜘蛛访问限制设置的频率限制就是为你们准备的！

频率限制就像炸串摊老板规定每个人每小时最多买100串羊肉串——正经人肯定吃不了这么多，只有恶意爬虫才会拼命点拼命抢！

操作步骤（还是以最新版Nginx为例哈！）：

1. 还是刚才的单站规则→点访问频率限制！
2. 勾选启用单站访问频率限制→然后设置参数：我一般设置的是单个IP每秒最多访问5次、单个IP每分钟最多访问30次、单个IP每小时最多访问300次、触发限制后禁止访问30分钟！这个参数对正常人来说绝对够用，对恶意爬虫来说就是“地狱模式”！
3. 如果怕误伤正常站长朋友和查排名的工具，可以把他们的IP加到频率限制白名单里！
4. 最后点一下保存！第二小招搞定！

土味正能量环节：半放半收才是长久之道，频率限制一开，流量稳了资源省了，钱包也跟着鼓起来了！

第三步：宝塔蜘蛛访问限制设置组合拳第二招——补刀式黑名单！

规则式门禁虽然好用，但总有那么几个“不死小强”一样的恶意爬虫，会伪装成正经蜘蛛的UA头混进来！这时候就该上宝塔蜘蛛访问限制设置的补刀式黑名单了！

补刀式黑名单怎么用？很简单！每天花个5分钟，去刚才的访问日志里看看，有没有伪装成正经UA头但翻页频率还是特别快的IP，或者IP地址在冷门小国家小IDC机房的，直接把它们加到单站IP黑名单或者全局IP黑名单里（单站的话只挡这个网站，全局的话挡所有用这个宝塔面板的网站！）！

重点加粗一下哈：加黑名单之前，一定要百度一下这个IP是不是正经的！别误伤到正常网友！土味正能量环节：知错就改还是好同志，不改的就直接拉黑永不见面！对待坏人绝不手软，对待好人绝不吝啬！

最后唠个宝塔蜘蛛访问限制设置后的效果总结

自从我搞了这套宝塔蜘蛛访问限制设置的组合拳之后，我那个美食探店号的CPU再也没飙红过，带宽也省了一半多！百度谷歌360神马的正经蜘蛛的访问频率反而变高了，最近一周的流量直接翻了三倍！原创文章的收录速度也从以前的3-5天变成了现在的当天收录当天有排名！

说真的，宝塔蜘蛛访问限制设置真的是咱们普通人做网站的“必备神器”！操作简单，效果明显，赶紧去试试吧！

土味正能量收尾：世上无难事只怕有心人，只要咱们用心学用心做，什么宝塔蜘蛛访问限制设置都能轻松搞定，什么流量困难都能迎刃而解！加油！奥利给！