浅谈屏蔽搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路

三月 31, 2015 Views
Comments 0

网站建设好了,当然是希望网页被搜索引擎收录的越多越好,但有时候我们也会碰到网站不需要被搜索引擎收录的情况。

比如,你要启用一个新的域名做镜像网站,主要用于PPC 的推广,这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话,很有可能会影响官网在搜索引擎的权重,这肯定是我们不想看到的结果。

以下列举了屏蔽主流搜索引擎爬虫(蜘蛛)抓取/索引/收录网页的几种思路。注意:是整站屏蔽,而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫(蜘蛛)。

阅读全文seo教程搜索  引擎  网页  

搜索引擎蜘蛛抓取页面过程图解

三月 31, 2015 Views
Comments 0

学习seo的人经常在网上看到一句话:搜索引擎蜘蛛跟浏览器差不多,都是抓取页面。那么到底哪些一样哪些不一样?Ethan就通过浏览器帮助大家理解搜索引擎蜘蛛怎样抓取页面。

首先看一张图,是用firebug(firefox浏览器的一个著名插件)记录下来的浏览器抓取我网站的情况。

搜索引擎蜘蛛

搜索引擎蜘蛛

搜索引擎蜘蛛

针对图中标识,Ethan解释如下。

1.http协议开始,HTTP协议是典型的请求/响应模式,客户端请求服务器,然后客户端和服务器建立临时通道,然后服务器返回响应。这里浏览器是一种客户端程序,搜索引擎蜘蛛也是一种客户端程序。客户端向服务器发送请求行,然后是请求头信息。图中左上角有“GET www.***.com”,反映了请求行的内容,真正的请求行是下面这行,firebug没有明示:

阅读全文seo教程搜索  引擎  

实例分析nofollow标签对于搜索引擎的强力阻击作用

三月 31, 2015 Views
Comments 0

对于nofollow标签我也算是情有独钟了,前面我给大家分析了nofollow标签在大型行业网的使用和nofollow标签使用如何把握一个“度”两个案例分析。今天我通过这两天的实验给大家分析下nofollow标签对搜索引擎索引和收录的阻击作用。nofollowr最运用是在于google的搜索引擎,而后百度也正式声明支持nofollow标签。

nofollow标签的主要用处于告诉搜索引擎不要去追踪带此标签的所有链接,不要给于该链以接索引和收录,以达到防止无关链接权重流失的目的。对于nofollow标签最常用的是在于用户注册,购物车,新手帮助,联系我们,公司介绍,关于我们,网站统计,网站地图,隐私保护等等与主题无关的内链和外链中。

阅读全文seo教程搜索  引擎  

搜索引擎算法的四大因素分析

三月 31, 2015 Views
Comments 0

搜索引擎算法是保密的,而且据说每天都在调整,具体没人知道。但是我认为搜索引擎算法源自两个方法论:程序推理和用户判断,程序推理分为两个维度:相关性和重要性,用户判断分别为相关性和重要性乘上个系数。关键词相关性由网页文本域内的关键词密度和分布决定。重要性也叫权重,一个网页的权重由这个网页的血统和内容品质共同决定。

由此,我们总结出搜索引擎算法的四个方面:关键词相关性、网页血统、网页内容品质、用户判断。大家从这四个方面思考,往往可以为被广泛认可的seo操作找到理论依据,培养自己的seo思维。有了seo思维,才能突破教条式的操作规定,在seo实战中灵活应变。

阅读全文seo教程搜索  引擎  

浅谈SEO应和搜索引擎并肩发展

三月 30, 2015 Views
Comments 0

2012年2月15日应该是所有SEO值得记忆的日子,一直以来好多人都在说百度干预SEO,那么到底是百度干预SEO还是SEO从业者唯利是图阻碍了搜索引擎的发展呢?王克江从从业SEO几年的经验来做分享:

一、SEO应该和搜索引擎并肩发展,而非各自为了利益互相刺痛。

在SEO逐渐被大家了解的同时,搜索引擎也越来越重视SEO,从站长工具指南中可以看到搜索引擎已经指定了游戏规则,游戏规则的宗旨是为了广大的搜索网民服务,那么搜索引擎的发展不仅需要用户的参与,更需要各行各业对搜索引擎有兴趣的人士参与,SEO从业者也是这方面的人群,但是SEO从业者比一般的搜索用户更应该了解搜索引擎,更应该支持搜索引擎的技术革新,无论是SEO做网站排名还是研究搜索引擎都应该从用户需求着手,而非采用非常手段把网站捣鼓到百度首页,没有实际含金量的网页,不符合搜索引擎抓取的网页,不符合用户需求的网页,所有的灰色黑色手段最终也会被搜索引擎数据统计分析出来,从而导致网站的排名不存在或者下降。

阅读全文seo教程seo  搜索  引擎  

百度搜索引擎指南2.0出台顺带警告不正当SEO

三月 30, 2015 Views
Comments 0

今天中午的时候,百度搜SEO,出现了这么个情况:

 

相信很多人都看到了吧,第一名和第二名变成这个了,而且首页有5个百度的产品,直接把以前挺牛的网站都挤出首页,出了个百度搜索引擎指南2.0,教站长们做百度优化的一些技巧和该注意的地方,而且专门还出了一栏警告站长门站着别被我们SEO所欺骗,NND,百度难道想赶尽杀绝,还真是狠哪,我想了一下午的时间,分析了一些百度做这个的原因,大家看看有没异议:

1、做百度竞价的人没以前那么多了,SEO的优势不仅仅在于能给网站带来排名,还在于能给网站带来一系列的改变,例如用户体验、转化率、品牌效应等等各种营销效应,能给网站带来很大的发展,而不仅仅是一个排名。而且你不可能每个词都去做竞价,而SEO可以给网站带来无穷无尽的长尾关键词排名,带来的流量和转化率也不会比竞价来的差,像A5、chinaz这些大站长尾关键词的排名多的跟米一样,从中获得的流量惊人啊。这就是现在很多中小型企业现在纷纷在做SEO的原因,这花销并不比百度竞价来的小,只因SEO能给网站带来的好处不只是排名。当然,现在边做竞价,边做SEO的企业也很多,双向发展。

阅读全文seo教程百度  引擎  

搜索引擎优化之二级域名与主域名的权重关系分析

三月 30, 2015 Views
Comments 0

很多网站都会因为各种原因开设二级域名,有的是内容分站,有的是区域分站,有的则是以二级域名的形式完全开辟一个与主域名内容毫无关系的新网站。在这种情况下,就需要考虑这些二级域名与主域名之间在搜索引擎优化上的正负权重是如何传递的了,因为只有搞清楚这个问题,才能更好的利用搜索引擎,让网站的主域名和二级域名都处于一个良好的优化状况,获得较优排名。

具体内容开展之前,先说清楚两个概念。一个是主域名的概念,一个是二级域名的概念,一般认为,以www为开头的域名是主域名,以其他形式的前缀开头的域名是二级域名。当然这个说法是经不起推敲的,因为其实对于搜索引擎来说,二级域名和主域名的关系应该是相对的,不过那样说起来就太复杂了,那本文就以常态的“一般认为”为准开始介绍下面的内容。

阅读全文seo教程搜索  引擎  优化  
分页:«1»