SEO优化robots协议

四月 18, 2015 | views
Comments 0

SEO优化robots协议

robots协议是一个文本文件,作用是告诉爬虫关于网站里哪些内容是不可以抓取的,也就像一个警示牌一样,不想被抓取的页面写一个牌子“游客止步”差不多的意思。
如果我们网站没有不愿意被抓取的页面和内容,完全可以不去设置。