模板
源码
教程
插件
运营
工具
导航 | 导航 | 抖音 | 抖音
  • 帝国cms模板
  • 织梦cms模板
  • discuz模板
  • ecshop模板
  • phpcms模板
  • wordpress模板
  • 苹果cms模板
  • 海洋cms模板
  • 飞飞cms模板
  • emlog模板
  • zblog模板
  • PbootCMS模板
  • Typecho模板
  • 小程序模板
  • psd模板
  • html模板
选择子栏目精准搜索 [点击关闭]

服务器配置

Nginx禁止国外搜索引擎蜘蛛爬取方法

我的站长站 2023-03-04 共人阅读

国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。

这时候我们就可以禁止不常见的搜索引擎制作爬取，本次我的站长站分享一篇Nginx禁止国外搜索引擎蜘蛛爬取方法。

直接上代码：

if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) 
 { 
 return 444;
 }

复制到Nginx的配置里面，多个用“|”隔开。

相关专题
nginx
nginx
2022-11-28 19

Nginx是一个高性能的HTTP和反向代理web服务器,也是站长常见的网站环境之一.nginx凭借高性能低消耗近几年越来越多站长使用,学习好nginx也成为站长必备知识点.我的...

nginx教程搜索引擎Nginx禁止
上一篇：Nginx禁止任意格式文件执行权限方法分享
下一篇：Linux配置永久IP地址脚本
相关推荐
  • nginx教程
  • 搜索引擎
  • Nginx禁止
  • nginx限制并发数和限制下载速度方法

    分享一篇最近我的站长站刚学的nginx限制并发数和限制下载速度方法，可以限制一个IP同一时间只允许发起一个连接，如果发起多个链接，会提示503。另外还支持限制的下载速度，用户在开始的下载500m之前，下载速度可以飙到最大，但是一旦下载的文件大小超过了500m，下...

    服务器配置 110 2年前
  • nginx新手入门-认识location匹配规则

    我们在配置nginx时，会看到默认的nginx配置规则内有很多的location，这些location每一段就代表一个规则，location的编写方法需要会一点正则，不会的可以继续看我的站长站为大家带来的location新手入门教程。完整nginx配置规则如下：server{listen 80;server_n...

    服务器配置 29 2年前
  • Nginx与Apache有什么区别？

    Apache & NginxApache，指的应该是 Apache 软件基金会下的一个项目——Apache HTTP Server Project；Nginx 同样也是一款开源的 HTTP 服务器软件（当然它也可以作为邮件代理服务器、通用的TCP 代理服务器）。HTTP 服务器本质上也是一种应用程序——它通常运...

    服务器配置 145 4年前
  • 移动搜索引擎的未来

    随着移动端的崛起，我们也不得不提高移动端的重视。稍微大型点的站点都有自己的移动端：APP、wap网站等，但很多人都并未对移动端搜索引擎重视。下面我们来谈谈移动端搜索引擎优化是有多么重要吧。下面我就结合百度搜索主人架构师的一些讲话，结合百度站长平...

    网站优化 623 7年前
  • 即今日头条之后 微信也推出自家搜索引擎“微信搜一搜”

    我们都知道国内搜索引擎市场自从谷歌退出后，一直都是百度搜索一家独大。期间也有SOSO、360搜索、神马搜索等等一些兴起搜索引擎要挑战百度搜索，但大部分都没什么效果。从目前搜索引擎使用统计来看，百度搜索引擎还是占有80%份额，剩下的20%才是其他搜索引...

    网络新闻 504 4年前
  • 搜索引擎汇总，总有一款适合你
    搜索引擎汇总，总有一款适合你

    虽然目前百度在中国大陆是占有74%左右的占有率，但是放大到世界范围内，只不过区区1.1%，因为它搜索的答案并不是我们想要的答案，随着越来越多的搜索引擎加入，百度的市场份额还会被压缩，我们拭目以待。搜...

    在线工具 875 4年前
  • Nginx禁止指定格式文件下载和指定目录执行权限

    禁止指定目录执行权限禁止Dir目录下的php文件执行可以用location /Dir{location ~ .*\.(php)?$ {return 404;}}禁止某个目录执行脚本#uploads|templets|data 这些目录禁止执行 PHPlocation ~* ^/(uploads|templets|data)/.*.(php|php5)$ { return...

    服务器配置 118 10个月前
  • nginx禁止直接访问目录或文件配置方法

    nginx禁止直接访问目录或文件，禁止后可以避免服务器文件直接暴露，用户无法通过链接访问下载某些目录文件。禁止访问某些后缀文件ini、conf后缀可以自行添加，通常为一些配置文件。location ~ \.(ini|conf|txt)$ {deny all;}禁止访问目录location ^~ /te...

    服务器配置 132 1年前
  • Nginx禁止任意格式文件执行权限方法分享

    禁止指定目录下的任意后缀文件location /Dir{ location ~ .*\.(php)?$ { return 404; } }禁止任意后缀文件location ~ \.(zip|rar|sql|bak|gz|7z)$ { return 444;}以上两种方法就能满足大部分实际使用，目录和后缀都可以自行修改。...

    服务器配置 98 1年前
最新更新
服务器配置标签
服务器硬盘 管理面板 防火墙 CloudFlare优选IP Nginx禁止 Nginx配置 防盗链 Linux环境 反向代理 cloudflare关闭 Nginx防火墙 新云BBR 宝塔面板开心版 BBR脚本 Cloudflare自选IP BuyVM挂载 Cloudflare报错 BBR加速 nginx下载 nginx限速 nginx教程 宝塔面板安装 cPanel面板 隐藏IP 域名污染 ftp服务器搭建 环境搭建教程 木马查杀 网站搬家 网站攻击