说起robot.txt文件相信站长朋友们应拉悟有仍该不会陌生，几乎每个网站的根目录下都有这样一个文件，虽然知道它，但块吧吨翘是很多朋友可能并不知道其用途，更不要说是添加和修改了里面的内容了，其实熟悉robot.txt文件对于站长朋友来说百利而无一害，下面就跟随小编一起来了解下robot.txt文件吧。
方法/步骤
1、首先我们需要了骈禄笫杳解下robot.txt文件的用途。说到robot.txt不得不提到robot（又称spider），robot就是搜索机器人芟坳葩津，它能够自动访问互联网上的网页并获取网页信息。它会首先检查该站点根目录下是否存在robots.txt，如果存在，就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
2、了解了它的用途之后，我们就可以深入的研究下这个文件了。一般建站的CMS下面都会自带有这个文件，而且里面书写了一些规则，当然这些规则都是根据CMS本身制定的。如果你用的不是现成的建站CMS，而是自己开发的，只需要在网站下面新建一个名为robot.txt文件即可。
3、一琐绔纠滴般情况下robot.txt文件会以User-agent:开头，该项的值用于描述搜索引擎机器人robot的名字。例如Use鸡堕樱陨r-agent:Baiduspider，就是针对百度蜘蛛进行的协议约束，robots.txt文件中至少要有一条User-agent记录。如果该项的值设为*（通配符），则该协议对任何搜索引擎机器人均有效。如果使用通配符，这样的记录只能有一条。
4、第二个我们要熟悉的就是Disallow，这项值是用来描述不希望被搜索机器人访问到网址。这个网址可以是完整的路径，也就是域名加上目录名或者文件名的格式，也可以是相对，也就是除去了域名，只有文件名或者目录名。
5、很多时候我们需要Disallow的文件或者目录并不止一个，有些人可能会图省事，直接把所有的文件或者目录都写在了一个Disallow中，其实这是一种错误的做法，正确的做法是一个Disallow的对应一个文件或者目录，有多少个目录或者文件需要设置就写几个Disallow的。
6、robot.txt文件中也只有这两个属性了，只要掌握了这两个属性的用法，我们就可以根据自己网站的情况自定义robot.txt文件了，如果你的robot.txt文件没弄好，或出错了，会影响整个网站的收录，所以自定义robot文件的时候还需要格外注意。
7、虽然我们有些目录不想被搜索机器人抓取，但是也不能写到robot.txt文件中，例如后台管理地址。相信这个目录大家都不想被蜘蛛攀爬，但是千万不要写入robot文件中，因为它可以被任何人访问，这样无形中让别人通过这个文件知道了你的后台地址，最后的结果只会事与愿违。