Nginx禁止国外搜索引擎蜘蛛爬取方法
我的站长站
2023-03-04
共人阅读
国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。
这时候我们就可以禁止不常见的搜索引擎制作爬取，本次我的站长站分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。
直接上代码：
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup))
{
return 444;
}复制到Nginx的配置里面，多个用“|”隔开。
相关专题
nginx
2022-11-28 34Nginx是高性能HTTP与反向代理Web服务软件，具备低资源消耗、高并发稳定的优势，是站长建站主流环境组件。本站整理全套Nginx学习资料，包含一键安装步骤、基础配置指南...
- 开源的Nginx配置文件解析工具 [2024-09-08]
- Nginx常用301重定向代码整理 [2024-02-07]
- Nginx限制国内IP用户访问网站 [2024-01-05]
- nginx判断某个目录不跳转https,其他目录强制跳转https配置规则 [2024-01-03]
- nginx实现子域名301跳转到另外一个域名对应子域名 [2023-12-29]