AhrefsBot蜘蛛是什么？
AhrefsBot是一个国外的网站优化营销网站爬取蜘蛛，通过不断抓取网络中网站数据，每24小时爬取访问超过60亿个网页数据。通过分析庞大的数据，来优化各大搜索引擎算法，进而为大家提供更好的网站优化方案。
AhrefsBot官网：https://ahrefs.com/robot，干兴趣的可以去看看。
因为国内网站基本用不到国外搜索引擎优化，除非你是做外贸网站的则可以试试，所以这种蜘蛛爬取你的网站，除了浪费服务器资源外，基本来说没有任何作用。
如何禁止AhrefsBot蜘蛛
做网站本应该是“多多益善”，什么蜘蛛都来者不拒，但奈何这个AhrefsBot蜘蛛太恐怖了，一天爬取了我的站长站几百万次，服务器都要跑满了，但一个真实流量也没带来，不得不禁止了，那么如何禁止AhrefsBot爬虫了。
Robots.txt封禁
打开网站根目录的robots.txt文件，在顶部加上一段：
User-agent: AhrefsBot Disallow: /
服务器封IP
robots.txt方法是对遵循robots规则的蜘蛛而言，但不确定AhrefsBot是否认这个，保险起见我们还可以直接封掉AhrefsBot蜘蛛的IP，直接不让访问。
AhrefsBot官方给出的蜘蛛IP段：
54.36.148.0/24 54.36.149.0/24 54.36.150.0/24 195.154.122.0/24 195.154.123.0/24 195.154.126.0/24 195.154.127.0/24
以宝塔为例，直接安装个“系统防火墙”，把上面的IP添加进去即可。
