服务器配置

Nginx禁止国外搜索引擎蜘蛛爬取方法

我的站长站 2023-03-04 人阅读

国外搜索引擎蜘蛛并不会带来多少流量,但是某些蜘蛛每天的爬取还非常大,浪费服务器资源。

这时候我们就可以禁止不常见的搜索引擎制作爬取,本次我的站长站分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。

直接上代码:

if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) 
 { 
 return 444;
 }

复制到Nginx的配置里面,多个用“|”隔开。

相关专题
nginx
nginx
2022-11-28 17

Nginx是一个高性能的HTTP和反向代理web服务器,也是站长常见的网站环境之一.nginx凭借高性能低消耗近几年越来越多站长使用,学习好nginx也成为站长必备知识点.我的...

相关推荐
  • nginx教程
  • 搜索引擎
  • Nginx禁止
  • nginx限制并发数和限制下载速度方法

    分享一篇最近我的站长站刚学的nginx限制并发数和限制下载速度方法,可以限制一个IP同一时间只允许发起一个连接,如果发起多个链接,会提示503。另外还支持限制的下载速度,用户在开始的下载500m之前,下载速度可以飙到最大,但是一旦下载的文件大小超过了500m,下...

    服务器配置 60 1年前
  • nginx新手入门-认识location匹配规则

    我们在配置nginx时,会看到默认的nginx配置规则内有很多的location,这些location每一段就代表一个规则,location的编写方法需要会一点正则,不会的可以继续看我的站长站为大家带来的location新手入门教程。完整nginx配置规则如下:server{listen 80;server_n...

    服务器配置 11 1年前
  • Nginx与Apache有什么区别?

    Apache & NginxApache,指的应该是 Apache 软件基金会下的一个项目——Apache HTTP Server Project;Nginx 同样也是一款开源的 HTTP 服务器软件(当然它也可以作为邮件代理服务器、通用的TCP 代理服务器)。HTTP 服务器本质上也是一种应用程序——它通常运...

    服务器配置 126 3年前
  • 移动搜索引擎的未来

    随着移动端的崛起,我们也不得不提高移动端的重视。稍微大型点的站点都有自己的移动端:APP、wap网站等,但很多人都并未对移动端搜索引擎重视。下面我们来谈谈移动端搜索引擎优化是有多么重要吧。下面我就结合百度搜索主人架构师的一些讲话,结合百度站长平...

    网站优化 606 7年前
  • 即今日头条之后 微信也推出自家搜索引擎“微信搜一搜”

    我们都知道国内搜索引擎市场自从谷歌退出后,一直都是百度搜索一家独大。期间也有SOSO、360搜索、神马搜索等等一些兴起搜索引擎要挑战百度搜索,但大部分都没什么效果。从目前搜索引擎使用统计来看,百度搜索引擎还是占有80%份额,剩下的20%才是其他搜索引...

    网络新闻 483 4年前
  • 搜索引擎汇总,总有一款适合你
    搜索引擎汇总,总有一款适合你

    虽然目前百度在中国大陆是占有74%左右的占有率,但是放大到世界范围内,只不过区区1.1%,因为它搜索的答案并不是我们想要的答案,随着越来越多的搜索引擎加入,百度的市场份额还会被压缩,我们拭目以待。搜...

    在线工具 824 4年前
  • Nginx禁止指定格式文件下载和指定目录执行权限

    禁止指定目录执行权限禁止Dir目录下的php文件执行可以用location /Dir{location ~ .*\.(php)?$ {return 404;}}禁止某个目录执行脚本#uploads|templets|data 这些目录禁止执行 PHPlocation ~* ^/(uploads|templets|data)/.*.(php|php5)$ { return...

    服务器配置 76 3个月前
  • nginx禁止直接访问目录或文件配置方法

    nginx禁止直接访问目录或文件,禁止后可以避免服务器文件直接暴露,用户无法通过链接访问下载某些目录文件。禁止访问某些后缀文件ini、conf后缀可以自行添加,通常为一些配置文件。location ~ \.(ini|conf|txt)$ {deny all;}禁止访问目录location ^~ /te...

    服务器配置 88 1年前
  • Nginx禁止任意格式文件执行权限方法分享

    禁止指定目录下的任意后缀文件location /Dir{ location ~ .*\.(php)?$ { return 404; } }禁止任意后缀文件location ~ \.(zip|rar|sql|bak|gz|7z)$ { return 444;}以上两种方法就能满足大部分实际使用,目录和后缀都可以自行修改。...

    服务器配置 69 1年前
最新更新