搜索引擎
使用noindex禁止建立索引
noindex 是具有 <meta> 标记或 HTTP 回应标头的规则组合，可用来防止支援 noindex 规则的搜寻引擎 (例如 Google) 将内容编入索引。这样一来，Googlebot 检索该网页并撷取 noindex 标记或标头时，就会将该网页完全排除在 Google 搜寻结果之外，不论是否有其...
百度手机端XML站点地图示例代码
Baidu的<mobile:mobile>是对标准sitemap协议的扩展，命名空间为：http://www.baidu.com/schemas/sitemap-mobile/1/，有以下四种取值：<mobile:mobile/>：移动网页<mobile:mobile type="mobile"/>：移动网页<mobile:mobile type="pc,mobile"/>：自适应网页，代表页面...
利用cloudflare的Crawler Hints功能加速爬取
Crawler Hints介绍网上看到的利用cloudflare的Crawler Hints功能加速爬取方法，目前我的站长站测试必应加速效果是不错的。cloudflare的Crawler Hints可以自动提交URL到IndexNow，让...
zhaopp基于ElasticSearch的Google Drive网盘项目
项目介绍zhaopp是一个基于 ElasticSearch的Google Drive网盘项目，开源免费。本可搜索、可下载。项目地址：https://github.com/gdtool/zhaopp项目功能：可搜索, 可排除关键字可定义超...
Meilisearch闪电般的开源项目
项目介绍Meilisearch是一个强大的闪电般的开源项目，可以毫不费力地融入您的应用程序、网站和工作流程 。使用 Rust 语言编写，提供闪电般快速的全文搜索功能。Meilisearch 帮助您快速打造令...
蜘蛛爬虫UA标识大全分享
蜘蛛UA标识蜘蛛名称名称UA标识Googlebot谷歌compatible;Googlebot/2.1;+http://www.google.com/bot.htmlBaiduspider百度compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.htmlbingbot微软bingcompatible;bingbot/2...
favicon.ico图标在内不显示
很多教程教大家给网站添加favicon.ico的代码大部分是：<link rel="shortcut icon" href="/favicon.ico"><link rel="bookmark" href="/favicon.ico">这段代码在大部分浏览器上面都可以显示正常，但是在部分结果页面的有的不显示。比如我...
百度 谷歌蜘蛛IP段
通常我们在服务器安全维护中，为了区分恶意IP和蜘蛛IP，就会用到本篇教程。避免把蜘蛛IP当做恶意IP给封禁了，在限制IP时都来搜索看，我们只提供了百度和谷歌两大的蜘蛛IP参考大全，其他的一般也没什么流量了。百度蜘蛛IP段大全[“116.179.32....
百度蜘蛛IP大全
123开头IP段蜘蛛123.125.66. 代表百度蜘蛛预备抓取。123.125.68. 每天这个IP段蜘蛛来的最多,其余IP段较少的话示意网站被降权或者进入沙盒。123.125.71. 低权重蜘蛛,抓取内页收录的,但是权重较低,文章内页不会很快被放出来。123.181.108.77 低权重蜘...