• 13
  • 九月

搜索引擎机器人对我网站的爬行记录

 发布于 14:41:46  |  阅读 902 次 |  评论  

博客开通才不到两个星期,平时主要的时间还是添加插件和优化功能,页面添加的不是很多,大概平均一天三篇,转载的和原创的都有。

这几天我记录了搜索引擎网站的机器人对我网站的爬行,发出来供大家研究(我是10号向各搜索引擎提交网站的):

2008年 九月 11日 17:46 更新  提交第二天

Googlebot 247+5 4.41 M字节 2008年 九月 11日 17:14
Unknown robot (identified by ’spider’) 97 2.07 M字节 2008年 九月 11日 17:17
Yahoo Slurp 74+11 1.73 M字节 2008年 九月 11日 11:49
Unknown robot (identified by ‘bot/’ or ‘bot-’) 28 689.24 K字节 2008年 九月 11日 11:26
MSNBot 21 18.91 K字节 2008年 九月 11日 17:14
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
Unknown robot (identified by hit on ‘robots.txt’) 0+3 831 个字节 2008年 九月 11日 16:35
BaiDuSpider 0+2 554 个字节 2008年 九月 11日 05:42
其他 1+1 30.55 K字节


查看全文>>