搜索引擎
利用cloudflare的Crawler Hints功能加速爬取
Crawler Hints介绍网上看到的利用cloudflare的Crawler Hints功能加速爬取方法，目前我的站长站测试必应加速效果是不错的。cloudflare的Crawler Hints可以自动提交URL到IndexNow，让...
zhaopp基于ElasticSearch的Google Drive网盘项目
项目介绍zhaopp是一个基于 ElasticSearch的Google Drive网盘项目，开源免费。本可搜索、可下载。项目地址：https://github.com/gdtool/zhaopp项目功能：可搜索, 可排除关键字可定义超...
Meilisearch闪电般的开源项目
项目介绍Meilisearch是一个强大的闪电般的开源项目，可以毫不费力地融入您的应用程序、网站和工作流程 。使用 Rust 语言编写，提供闪电般快速的全文搜索功能。Meilisearch 帮助您快速打造令...
蜘蛛爬虫UA标识大全分享
蜘蛛UA标识蜘蛛名称名称UA标识Googlebot谷歌compatible;Googlebot/2.1;+http://www.google.com/bot.htmlBaiduspider百度compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.htmlbingbot微软bingcompatible;bingbot/2...
favicon.ico图标在内不显示
很多教程教大家给网站添加favicon.ico的代码大部分是：<link rel="shortcut icon" href="/favicon.ico"><link rel="bookmark" href="/favicon.ico">这段代码在大部分浏览器上面都可以显示正常，但是在部分结果页面的有的不显示。比如我...
百度 谷歌蜘蛛IP段
通常我们在服务器安全维护中，为了区分恶意IP和蜘蛛IP，就会用到本篇教程。避免把蜘蛛IP当做恶意IP给封禁了，在限制IP时都来搜索看，我们只提供了百度和谷歌两大的蜘蛛IP参考大全，其他的一般也没什么流量了。百度蜘蛛IP段大全[“116.179.32....
百度蜘蛛IP大全
123开头IP段蜘蛛123.125.66. 代表百度蜘蛛预备抓取。123.125.68. 每天这个IP段蜘蛛来的最多,其余IP段较少的话示意网站被降权或者进入沙盒。123.125.71. 低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。123.181.108.77 低权重蜘...
nginx屏蔽蜘蛛爬虫配置方法
1、屏蔽User-AgentUser-Agent是指浏览器或爬虫发送给服务器的HTTP请求头部信息之一，通过检查User-Agent来判断请求是否来自爬虫。检查HTTP请求头部中是否包含bot、crawl或spider等字眼，如果包含则返回403错误码，拒绝该请求。if ($http_user_age...
喜欢什么样的网站？
是网站流量的入口，每天有数亿用户进行搜索。许多站长都希望自己的网站能够在有更好的排名，吸引更多的流量和用户。那么，到底喜欢什么样的网站呢？1、高质量内容：全部都非常重视网站的内容质量，喜欢有有价...