老域名购买

揭秘robot.txt文件

rotbot.txt文件是网站和网络爬虫之间的一个协议，用来告诉搜索引擎爬虫哪些文件或文件夹是否允许爬虫抓取文件，目的是屏蔽无用的网站信息，节省服务器宽带提高收录。

分为三种情况：

1、不允许所有的爬虫进行抓取：

user-agent:*

Disallow:/

2、不允许谷歌蜘蛛进行抓取：

User-agent:Googlebot

disallow:/

3、不允许抓取某个目录