大家好，今天褚润泽给大家准备的干货是robots.txt怎么设置不暴露敏感文件路径，以及关于robots设置目录,搜索引擎,文件的一系列相关内容，只要你每天都能来，我就能每天整理一些不错的干货分享给你们！
Robots是网站跟爬虫间的协议文件，robots.txt可以用来告诉对应的爬虫被允许的权限，是搜索引擎中访问网站的时候第一个要查看的文件。robots.txt文件也可以用来限制搜索引擎不乱抓取，只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取，那么robots文件需要这样写：
User-agent:* Disallow:/admin/
但是这样我们很容易发现了一个问题，如果有人要破解攻击的话，很容易就知道了后台，一下子就清楚了网站的结构。
我们并不想这样！
有没有办法让robots.txt既能限制搜索引擎，又不泄露后台地址和隐私目录呢？有！
一、使用通配符（*）：
User-agent:* Disallow:/a*/
这样的写法，禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话，还有谁会看到呢？
二、只写目录前几个字母，不写全：
User-agent:* Disallow:/ad
这种的写法，是禁止所有的搜索引擎抓取根目录下ad开头的目录。
最后说明一下，以上这两种方法，需要网站目录没有相同字母开头的，例如ad目录，如果有两个一样的，那需在robots.txt文件里再加上一个字母区别开来。
好了，今天就给大家分享到这里了，希望能帮到大家，当你认真看完了robots.txt怎么设置不暴露敏感文件路径【推荐干货】这篇文章，感觉自己有一定收获，那就帮忙点个赞吧。
本文发布者：站长老油条，不代表寂寞网立场，转载请注明出处：https://www.jimowang.com/p/9776.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 jimowangmail@126.com 举报，一经查实，本站将立刻删除。
