• 13
  • 九月

搜索引擎机器人对我网站的爬行记录

 发布于 14:41:46  |  阅读 718 次 |  评论  

博客开通才不到两个星期,平时主要的时间还是添加插件和优化功能,页面添加的不是很多,大概平均一天三篇,转载的和原创的都有。

这几天我记录了搜索引擎网站的机器人对我网站的爬行,发出来供大家研究(我是10号向各搜索引擎提交网站的):

2008年 九月 11日 17:46 更新  提交第二天

Googlebot 247+5 4.41 M字节 2008年 九月 11日 17:14
Unknown robot (identified by ’spider’) 97 2.07 M字节 2008年 九月 11日 17:17
Yahoo Slurp 74+11 1.73 M字节 2008年 九月 11日 11:49
Unknown robot (identified by ‘bot/’ or ‘bot-’) 28 689.24 K字节 2008年 九月 11日 11:26
MSNBot 21 18.91 K字节 2008年 九月 11日 17:14
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
Unknown robot (identified by hit on ‘robots.txt’) 0+3 831 个字节 2008年 九月 11日 16:35
BaiDuSpider 0+2 554 个字节 2008年 九月 11日 05:42
其他 1+1 30.55 K字节


以上可以看出google收录最快,页面最多,247+5  前面的247是爬行的页面,+号后面是读取robots.txt文件的次数;这里面百度少的可怜;

2008年 九月 12日 22:23 更新  提交第三天

Googlebot 268+6 5.01 M字节 2008年 九月 12日 16:16
Unknown robot (identified by ’spider’) 241+2 5.45 M字节 2008年 九月 12日 21:31
BaiDuSpider 225+6 5.10 M字节 2008年 九月 12日 20:50
Yahoo Slurp 201+17 4.91 M字节 2008年 九月 12日 21:41
MSNBot 59 98.85 K字节 2008年 九月 12日 17:37
Unknown robot (identified by ‘bot/’ or ‘bot-’) 47 1.09 M字节 2008年 九月 12日 17:25
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Unknown robot (identified by hit on ‘robots.txt’) 0+16 3.79 K字节 2008年 九月 12日 21:12
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 2+3 58.39 K字节

百度上来了哈~~~

2008年 九月 13日 12:08 更新  提交第四天

Googlebot 340+6 6.82 M字节 2008年 九月 13日 08:33
BaiDuSpider 337+8 7.76 M字节 2008年 九月 13日 10:21
Unknown robot (identified by ’spider’) 294+4 6.95 M字节 2008年 九月 13日 08:49
Yahoo Slurp 211+20 5.18 M字节 2008年 九月 13日 10:32
MSNBot 63 108.46 K字节 2008年 九月 13日 03:06
Unknown robot (identified by ‘bot/’ or ‘bot-’) 61 1.45 M字节 2008年 九月 13日 06:18
Unknown robot (identified by hit on ‘robots.txt’) 0+17 4.06 K字节 2008年 九月 13日 02:17
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 5+4 106.83 K字节 2008年 九月 13日 04:16
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 3+4 91.51 K字节

2008年 九月 13日 14:13 更新  提交第四天

BaiDuSpider 383+8 8.89 M字节 2008年 九月 13日 13:59
Googlebot 344+7 6.97 M字节 2008年 九月 13日 12:53
Unknown robot (identified by ’spider’) 295+4 6.99 M字节 2008年 九月 13日 13:19
Yahoo Slurp 218+20 5.39 M字节 2008年 九月 13日 13:48
MSNBot 67 118.73 K字节 2008年 九月 13日 13:02
Unknown robot (identified by ‘bot/’ or ‘bot-’) 67 1.59 M字节 2008年 九月 13日 13:16
Unknown robot (identified by hit on ‘robots.txt’) 0+18 4.06 K字节 2008年 九月 13日 11:13
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 5+4 106.83 K字节 2008年 九月 13日 04:16
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 3+4 91.51 K字节

百度已经赶到第一位了,而且收录的字节数明显多于其他,不知道什么原因;而且可以看出蜘蛛爬的频率很快;看来得经常更新啊。

现在的网站还没有被任何搜索引擎收录,充满期待…

评论