对百度蜘蛛爬行规律的一些微浅认识

ElmerRassy

这两天对蜘蛛稍稍有些研究，可是真正的怎样去讨得蜘蛛欢心还是木有太大的理解，只是知道蜘蛛通过分析众多客户网站的空间访问日志，针对不同的网站，不同站点的爬行次数和速度是不一样的，在这里也将自己学习到的拿出来分享分享，长老们都说蜘蛛的爬行规律大体可以总结为三个时期。
　　首先的初探期：初探期是指网站开通提交给百度收录之后的一段时间内，在这段时间内，百度的蜘蛛会来爬行网站的首页，然后蜘蛛会根据爬行的结果爬行首页上连接的其它页面。当然在这个阶段，机器人爬行首页次数会非常少，有可能一天只有几次爬行首页，主要是因为你网站上有很多链接，它得一个一个的爬。机器人的爬行量远远大于百度放出来的收录量。（笔记是这么写的，不知道可不可以理解为，虽然百度收录木有太多，但百度还是在默默的关注着我们，只要我们断续努力，总能够得到青睐的）接着就是稳定期了，百度把你的网站爬行得差不多的时候，我们就称为稳定期，这个得根据你网站来确定，有时一个新网站可能一个星期就进入这个阶段，有时要一个月。这个阶段，百度蜘蛛机器人爬行首页的次数会有明显的增加，比如你网站在初试期机器人一天爬行首页次数为5次，那么在这个阶段就有可能是10–50次。为什么爬行首页的次数为增加，那是因为你更新网站后，基本上所有的更新内容都会反映在首页上，当然百度会从首页入口。在这个阶段机器人爬行量一般情况下是收录量的十几倍，当然你得减去爬行首页的数量计算。此时我们的努力就初显成果了。
　　最后则是成熟期，百度一旦把你的网站拿入成熟期，你网站要想收录量有很大的变化，基本上是不可能的，因为在这个阶段，百度机器人只会爬行你更新的页面，对于没有更新的页面，机器人都不爬行了。成熟期百度机器人爬行首页的比例，基本上占到了所有爬行量的五分之一以上，收录量基本是是除去首页爬行量的六分之一以上。所以说在这个阶段我们更新网站内容时，一定要让更新的内容上首页，更新次数多一点，让蜘蛛机器人每次来都有新内容所爬。
　　在不同时期我们应该采取不同的手段来满足蜘蛛的需求，初探期不要惊慌，稳定期也不要放松，成熟期我们更应该去坚持不懈的维护网站的内容。这也是我们网站不断成长的一个过程，但是不管是哪一个时期我们都应该坚持努力。
http://www.yzhjdq.com
http://www.essbo.com

http://www.8bct.com

http://www.ghmsb.com

http://www.52haocai.com