网站优化

robots.txt可以用正则表达式吗?

我的站长站 2022-11-28 人阅读

Robots.txt怎么使用正则表达式限制搜索引擎抓取某些页面吗?

答案是robots并不支持正则表达式,但支持两个特殊字符:

*  0-n个字符(n表示任意个)

$  表示链接结束位置,如 Disallow: \.jpg$ 表示以.jpg结束的链接屏蔽抓取

相关推荐
  • 正则表达式
  • Robots
  • Regulex在线正则表达式可视化测试工具
    Regulex在线正则表达式可视化测试工具

    Regulex跟其他的正则表达式工具不同的是,他可以直接以图片的形式显示出正则表达式匹配的流程和结果,非常方便的帮助程序员正确的书写正则表达式规则。例如我们输入(d{100}|d{10})w{2}正则,可视化...

    在线工具 1209 3年前
  • 帝国CMS百度MIP改造newstext正则表达式

    本教程主要功能就是把编辑器内的img a标签等替换为mip标准格式1、打开/e/class/userfun.php添加处理函数:function NewsTextReplace($add){ $add[&#39;newstext&#39;] = preg_replace(&#39;/<img.*?src="(.*?)".*?>/is&#39;, &#39;<mip-img alt=""...

    帝国cms教程 197 4年前
  • 百度MIP改造常用正则表达式

    正则表达式替换图片格式function NewsTextReplace($add){ $add[&#39;newstext&#39;] = preg_replace(&#39;/<img.*?src="(.*?)".*?>/is&#39;, &#39;<mip-img alt="" src="$1"></mip-img>&#39;, stripslashes...

    js教程 121 4年前
  • robots.txt怎么设置不暴露敏感文件路径

    robots是网站跟爬虫间的协议文件,robots.txt可以用来告诉对应的爬虫被允许的权限,是搜索引擎中访问网站的时候第一个要查看的文件。robots.txt文件也可以用来限制搜索引擎不乱抓取,只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取...

    经验分享 1130 5年前
  • 帝国CMS-robots.txt文件使用教程

    在说帝国CMS-robots.txt文件使用前先给大家解释下robots.tx是干什么的。 robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就

    帝国cms教程 667 10年前
  • 网站SEO优化Robots写法

    robots协议是我们的网站与各搜索引擎的一个协议,如果你还不知道robots协议的重要性,那么本片文章你必须认真学习了,因为robots协议对一个网站来说十分重要。那么接下来大家一起来学习什么是robots.txt。一、什么是robots.txt文件1、它是我们的网站与各...

    网站优化 423 6年前
最新更新