如何检查网站抓取情况
  • 时间:2019-11-20
  • 点击率:

做网站优化,每天的职责就是要检查网站的收录抓取情况,一旦蜘蛛对网站的抓取出现异常,就要及时检查网站是否出现故障,或者被其他网站连累的情况都时有发生。
 
如何检查网站的抓取情况,常用的办法就是检查网站日志,查看网站被百度抓取的情况主要是分析,网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率,返回的HTTP状态码。
网站分析
  通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。如果你的日志里格式不是如此,则代表日志格式设置不同。很多日志里可以看到 200 0 0和200 0  64 则都代表正常抓取。
 
  抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。

除此之外还有一个比较简便省事的方法,就是去百度站长后台看看网站的抓取频次是否正常,如果网站抓取频次经常为0,那基本上就是网站出现问题了,要及时检查网站排除问题。

喜欢此文章的人浏览了以下文章:

客服QQ: 点击这里
地址:北京市通州区 客服QQ:429304652
20012-2018 北京一度网站seo 版权所有 Power by DedeCms

服务时间:工作日早8:00—17:00