robots.txt可以用正则表达式吗?
我的站长站
2022-11-28
共人阅读
Robots.txt怎么使用正则表达式限制搜索引擎抓取某些页面吗？
答案是robots并不支持正则表达式，但支持两个特殊字符：
* 0-n个字符（n表示任意个）
$ 表示链接结束位置，如 Disallow: \.jpg$ 表示以.jpg结束的链接屏蔽抓取