上次说到网站里有一些Feed页面被搜索引擎收录了，解决方法之一就是修改Robots.txt文件。

那Robots.txt文件放在哪里呢？换句话说，去哪里找到这个文件。

它通常是放在网站的根目录之下，你登录服务器，在存放网站的文件夹里，可以找到它。

然后可以打开来进行编辑，增加或删除一些内容。但是这个文件对搜索引擎来说很重要，一定要谨慎修改。

因为，搜索引擎的蜘蛛来网站抓取时，首先会访问robots文件，会遵守里面的协议。

如果你设置了不允许它抓取文件，它就不会收录站里的文件。

大多人都希望网站被搜索引擎收录，并且越多越好。但确实也有一些人，是不希望被收录的，我就见过一位。

一般来说，默认生成的robots文件，都是允许搜索引擎访问的，没有特别需求就不需要管它。

但如果有某些页面不想让搜索引擎抓取的话，比如我前面所说的不想让它抓取feed页面，或者有些人整站都不想被抓取，这时就需要修改这个文件。

如果只是想查看robots.txt文件内容的话，可以在浏览器中直接打开。路径是：网址/robots.txt。