老域名购买

解决蜘蛛只爬取网站首页的终极策略

今天有两个朋友提了一个相同的问题，为什么蜘蛛只爬取了网站的首页而没有爬取内页，不同的是一个是新站点，一个是老站点。那么今天就这个问题专门写篇文章，分享一下出现这种情况的原因及应对策略。

一、新新的网站

对于新新的网站，首页刚刚被收录，这时候网站的权重是极低的。就不要期望这么快收录内页了，制定一个详细的优化方案，定时更新，切记使用一些舞弊的手法。

二、robots.txt文件、服务器限制

这是很多新手容易犯的错误，对robots.txt文件不是很了解，但是不设置又觉得自己降低了档次，所以就错误的填写，导致屏蔽了内页。这样也就导致了蜘蛛无法爬取你的内页。另外服务器的限制也会出现这种情况。