国外搜索引擎蜘蛛并不会带来多少流量,但是某些蜘蛛每天的爬取还非常大,浪费服务器资源。
这时候我们就可以禁止不常见的搜索引擎制作爬取,本次我的站长站分享一篇nginx禁止国外搜索引擎蜘蛛爬取方法。
直接上代码:
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444; }
复制到Nginx的配置里面,多个用“|”隔开。
nginx
2022-11-28 13Nginx是一个高性能的HTTP和反向代理web服务器,也是站长常见的网站环境之一.nginx凭借高性能低消耗近几年越来越多站长使用,学习好nginx也成为站长必备知识点.我的...
- Nginx禁止指定目录执行PHP [2023-03-04]
- Nginx禁止国外搜索引擎蜘蛛爬取方法 [2023-03-04]
- Nginx禁止任意格式文件执行权限方法分享 [2023-02-10]
- nginx限制下载目录+并发+限速 [2023-01-12]
- Nginx上传大文件超时设置方法 [2022-12-20]