robots只能放在根目录吗？
Robots.txt只能放在网站根目录吗？
是的。对于标准的robots.txt协议来说，文件应当放在网站的根目录，例如：
https://www.example.com/robots.txt
搜索引擎抓取网站时，会根据网站主机对应的/robots.txt获取爬虫访问规则。放在其他目录下的robots文件，例如/seo/robots.txt，通常不能作为整个网站的标准robots协议文件使用。
因此，如果网站域名是https://www.example.com/，正确位置就是：
https://www.example.com/robots.txt
需要注意的是，robots.txt并不是一种安全防护机制。即使在robots.txt中禁止访问某个目录，也不能阻止所有人直接访问对应网址，同时也不能保证所有爬虫都会严格遵守其中的规则。
什么是robots.txt？
robots.txt是一种用于向自动化抓取程序声明网站抓取规则的文本文件，也可以理解为网站与搜索引擎爬虫之间的一种约定。
网站管理员可以通过robots.txt告诉符合协议的搜索引擎爬虫，哪些URL不希望被抓取，哪些路径允许访问，以及网站的sitemap文件在哪里。
例如，当搜索引擎准备抓取一个网站时，可以请求该网站根目录下的：
/robots.txt
如果文件存在，爬虫可以根据其中的规则决定后续抓取范围；如果没有robots.txt，则通常不存在针对该网站的robots抓取限制。
简单来说，robots.txt就是网站向搜索引擎爬虫公开的一份抓取规则说明文件。
robots.txt有什么作用？
合理配置robots.txt，可以帮助站长对搜索引擎爬虫的抓取范围进行管理，常见作用主要包括以下几个方面。
1、限制不必要的抓取
对于后台目录、程序文件目录、缓存目录以及其他没有必要让搜索引擎频繁抓取的路径，可以根据实际情况设置Disallow规则。
例如：
User-agent: * Disallow: /inc/
这表示针对所有User-agent声明，不希望其抓取以/inc/开头的路径。
2、减少无效URL的抓取
一些网站可能存在大量参数页面、重复路径或者没有搜索价值的URL。如果这些URL数量非常多，合理的抓取规则可以帮助搜索引擎减少对部分无价值路径的抓取。
不过，robots.txt并不是解决网站重复内容和URL规范问题的唯一方法。对于需要规范化、合并权重或者明确告诉搜索引擎不应收录的页面，还需要结合canonical、noindex等方式进行处理。
3、声明网站Sitemap
robots.txt还可以使用Sitemap字段告诉搜索引擎网站XML Sitemap的位置，例如：
Sitemap: https://www.example.com/sitemap.xml
这样可以为搜索引擎发现网站URL提供额外入口。需要注意，Sitemap声明并不会强制搜索引擎收录其中的页面。
robots.txt的基本格式
robots.txt采用简单的文本格式，最常见的几个指令包括User-agent、Disallow、Allow和Sitemap。
例如下面是一份简单的robots.txt：
User-agent: * Disallow: /inc/ Allow: /uqseo Sitemap: https://www.wdzzz.com/sitemap/home.xml
User-agent
User-agent用于指定规则针对哪些爬虫。使用：
User-agent: *
通常表示规则适用于所有符合robots协议的抓取程序。
Disallow
Disallow用于声明不希望对应User-agent抓取的路径。例如：
Disallow: /inc/
表示不希望按照该规则执行的爬虫抓取/inc/路径。
Allow
Allow用于声明允许抓取的路径。在某些存在Disallow规则的情况下，可以利用Allow对特定路径进行例外处理。
Disallow: /uqseo/ Allow: /uqseo/index.html
具体规则如何匹配以及不同搜索引擎的处理方式，需要以对应搜索引擎的robots规范为准。
Sitemap
Sitemap用于声明XML Sitemap地址，例如：
Sitemap: https://www.wdzzz.com/sitemap/home.xml
如果网站存在多个Sitemap，也可以根据网站实际情况进行声明。
robots.txt文件名需要全部小写吗？
标准文件名是robots.txt，建议严格按照这个形式创建文件。
需要特别说明的是，不应该简单理解为“服务器一定只能识别小写字母”。不同服务器、操作系统以及Web服务器的文件系统规则可能存在差异，但为了符合标准并避免兼容性问题，实际建站时直接使用：
robots.txt
是最稳妥的做法。
robots.txt不是网站安全防护工具
这是使用robots.txt时非常容易产生的误区。
例如：
User-agent: * Disallow: /admin/
这只是告诉遵守robots规则的爬虫不要抓取/admin/路径，并不能真正阻止普通用户访问该地址。
如果网站后台、配置文件或者敏感目录不能被外部访问，应当通过服务器权限、身份验证、访问控制等安全措施进行保护，而不能仅仅依赖robots.txt。
robots.txt配置不当会有什么影响？
robots.txt虽然文件很小，但配置错误可能影响搜索引擎对网站内容的抓取，因此修改时需要特别谨慎。
不要误把网站主要内容目录全部Disallow。
不要因为担心重复内容就随意禁止大量重要页面抓取。
修改robots.txt后应检查重要页面是否仍然允许搜索引擎抓取。
后台和敏感数据不能依赖robots.txt进行安全保护。
Sitemap地址应填写实际可以正常访问的XML文件地址。
robots.txt应该怎么放？
对于普通网站来说，最简单的方式就是在网站根目录创建一个名为robots.txt的纯文本文件。
最终访问地址应该类似：
https://www.example.com/robots.txt
如果网站同时使用HTTP和HTTPS，实际生产环境中还应确保用户和搜索引擎最终使用的规范协议能够正常访问对应的robots.txt。
总结
robots.txt是网站用于向搜索引擎爬虫声明抓取规则的标准文本文件，对于普通网站来说应当放在网站根目录，并使用标准文件名robots.txt。
它可以用于限制部分路径的抓取、减少不必要的爬虫访问，并声明Sitemap地址，但不能代替网站安全措施，也不能保证所有爬虫都会遵守规则。
对于SEO来说，robots.txt更重要的是“合理限制”，而不是“禁止得越多越好”。如果把网站的重要内容、CSS、JS或核心页面错误地禁止抓取，反而可能影响搜索引擎正常理解和访问网站，因此修改之前最好先确认每一条规则的实际作用。