等待喝彩_OnEcho

来源：站长站

由于链接的的指向，而导致网站内容重复，一直是网站SEO的大忌。不同的链接指向同一个网页，就会被搜索引擎判定为作弊。昨天提到的WordPress重定向插件，在一定意义上也是为了阻止重复内容。然而，由于WordPress的结构原因，往往就会发生网页内容重复的状况。例如：http://www.domain.com/archive/1 和 http://www.domain.com/archive/1/feed两个网址下的内容就是一样的，所以，我们就必须想办法阻止这样的情况发生。

通常，解决重复内容的方法有：使用noindex标签，利用excerpt实现内容摘要，以及配置robots.txt。今天就主要说说在WordPress下使用robots.txt文件。

robots.txt文件就像一个网站的大门，它会告诉搜索引擎的蜘蛛，可以抓取哪里的网页内容，哪里的不能抓取。因此，配置好robots.txt文件，完全可以理想的组织blog内容重复的问题。robots.txt的具体文法和使用方法，可以参考robotstxt.org。在国内，此类的WordPress robots.txt比较流行：

查看全文>>

博客开通才不到两个星期，平时主要的时间还是添加插件和优化功能，页面添加的不是很多，大概平均一天三篇，转载的和原创的都有。

这几天我记录了搜索引擎网站的机器人对我网站的爬行，发出来供大家研究（我是10号向各搜索引擎提交网站的）：

2008年 九月 11日 17:46 更新  提交第二天

Googlebot 247+5 4.41 M字节 2008年 九月 11日 17:14
Unknown robot (identified by ’spider’) 97 2.07 M字节 2008年 九月 11日 17:17
Yahoo Slurp 74+11 1.73 M字节 2008年 九月 11日 11:49
Unknown robot (identified by ‘bot/’ or ‘bot-’) 28 689.24 K字节 2008年 九月 11日 11:26
MSNBot 21 18.91 K字节 2008年 九月 11日 17:14
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
Unknown robot (identified by hit on ‘robots.txt’) 0+3 831 个字节 2008年 九月 11日 16:35
BaiDuSpider 0+2 554 个字节 2008年 九月 11日 05:42
其他 1+1 30.55 K字节

查看全文>>