网赚论坛

标题: 发现百度蜘蛛爬行的一个小小规律 [打印本页]

作者: w23456 时间: 2017-9-13 18:40
标题: 发现百度蜘蛛爬行的一个小小规律
百度蜘蛛爬行会在IIS 日志里面留下记录，一般正常爬行的日志为可能有些站长注意到有些，对于这个代码没有一个确切的定论，一般认为是非正常爬行，该页很大可能不被收录，原因有很多种，我猜测是因为和其他网页相似度高或者页面关键词累积。但是该它会对该页面进行再次考察，蜘蛛过不了多长时间就会再次爬行到这个页面检查是否有改正，如果符合它的收录要求的话，日志上。

欢迎光临网赚论坛 (http://www.caifuba.net/)