标题：搜狗站群服务器负载100%解决方法

描述：现在建设搜狗站群基本都用的宝塔面板，随着域名的增加发现服务器的内存等负载越来越大，甚至达到了100%

发布：战威搜狗站群

链接：http://www.zhving.com/host/25.html

时间：2021-05-23 16:17

编辑：@战威

标签：建设搜狗站群搜狗站群搜狗站群服务器

现在建设搜狗站群基本都用的宝塔面板，随着域名的增加发现服务器的内存等负载越来越大，甚至达到了100%

经过查看网站日志发现是AhrefsBot蜘蛛太多，把服务器爬崩溃了！

常规的那种宝塔面板优化措施外更需要做以下设置

1：宝塔面板屏蔽以下几个IP

1. 54.36.148.0/24

2. 54.36.149.0/24

3. 54.36.150.0/24

4. 195.154.122.0/24

5. 195.154.123.0/24

6. 195.154.126.0/24

7. 195.154.127.0/24

宝塔面板-安全-屏蔽IP     粉必备屏蔽以上IP

2：网站robots.txt

User-agent: AhrefsBot

Disallow: /

屏蔽掉AhrefsBot蜘蛛