rotbots.txt文件的制作

1.robots.txt文件的作用

robots.txt文件是一个文本文件，这个文件用来告诉搜索引擎蜘蛛网站的哪些部分应该被抓取，哪些部分不用抓取。比如说，如果有很多网站源文件，抓取可能会增加服务器的负载，且会耗费搜索引擎爬虫的时间来索引网站文件。站长可以使用文本编辑器创建一个名为robots.txt的文件，比如NotePad++或记事本等工具。

注意：robots.txt实际上是搜索引擎访问网站的时侯要查看的第1个文件，当一个搜索蜘蛛访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt文件，如果存在就会按照该文件中的内容来确定访问的范围。

2.robots.txt文件制作与上传

打开Windows的记事本工具，在记事本中添加如下代码，然后将其保存为robots.xt文件。

在记事本中编写robots.txt文件效果

保存好robots.txt文件后，将其上传到网站的根目录下，就可以控制搜索引擎蜘蛛的爬行轨迹了。

鉴于robots.txt中包含了很多指令，互联网上也有很多在线的工具用来生成这个文件，比如Chinaz的站长工具，网址为http://tool.chinaz.com/robots/，因此上面的示例可以用这个工具轻松实现。

使用站长工具编写robots.txt文件

在编写完成后，单击下面的“生成”按钮，将会在页面底部的文本框控件中生成robots.txt文件内容，将其复制到文本文件中并保存，即可创建robots.xt文件。