谈谈淘宝网的私服现象可以明显的看出，淘宝网屏蔽百度蜘蛛抓取全站信息，那么，在百度搜索为什么还能看到淘宝的页面呢？在这里，首先要解释两个名词，抓取和索引。百度蜘蛛抓取是指蜘蛛爬虫在互联网上爬行破天开服一条龙服务、访问页面并获取页面内容返回数据库。而索引则是将数据库中的内容展示在搜索引擎中供用户访问。许多SEO朋友经常有疑问，百度蜘蛛天天来我的站抓取数据破天开服一条龙服务，为什么收录数还是那么少？这实质上是因为蜘蛛抓取后并没有为数据建立索引的原因。蜘蛛抓取数据后不一定索引奇迹Mu开服一条龙服务，而搜索引擎索引数据同样不一定需要抓取。这实质上是百度搜索引擎为优化用户体验而采用的一种策略。对于不允许被百度抓取的网站，如果其他站点对其进行描述和指向，那么百度会利用其他站点所获知的信息通过自身的策略对该站点进行索引，并参与到搜索引擎关键词排序中。而淘宝网女性频道，这是由于这种原因，出现在了百度的索引中，同样，淘宝网许多其他的页面被百度索引，也是出于这个原因那么，为什么在搜索传奇私服等关键词时，淘宝网为什么会以私服类的标题出现呢？这还得归结到百度自身的策略上。不少SEOer都知道，在几年前，就有百度等搜索引擎将DMOZ对网站的标题描述内容植入索引中供用户搜索的例子。这种现象通常表现在网站屏蔽抓取《热血传奇》新版失落神殿上线 2…，、网站无法访问、网站性质，标题，内容出现大规模的改动 等几种情况下。搜索引擎会通过其外链指向自动为其选择一个与当前搜索请求最相关的标题展示。淘宝网的标题现象，正是出于此种原因其实大家最关注的，还是淘宝网为什么在这些关键词上取得了如此优秀的排名。我认为，会有朋友给出如下解答：有大量的外部链接指向淘宝网女人频道，导致这个页面权重极高，所以在标题表现为传奇私服的时候能取得非常好的排名。我认为这种说法只是对了一半，并没有抓到最本质的原因实质上，这种基于链接关系的搜索引擎排序主要依靠几大算法：超链接导向搜索（HITS）算法、TF IDF算法（相关性算法）和PR算法。因为PR算法得出的数据在一段时间内是比较稳定的，所以分析这个现象，我们并不需要将PR算法做过多的考虑。HITS算法通过两个评价权值 注：相关网站建设技巧阅读请移步到建站教程频道。