通常，解决重复内容的方法有：使用noindex标签，利用excerpt实现内容摘要，以及配置robots.txt。今天就主要说说在WordPress下使用robots.txt文件。

robots.txt文件就像一个网站的大门，它会告诉搜索引擎的蜘蛛，可以抓取哪里的网页内容，哪里的不能抓取。因此，配置好robots.txt文件，完全可以理想的组织blog内容重复的问题。robots.txt的具体文法和使用方法，可以参考robotstxt.org。在国内，此类的WordPress robots.txt比较流行：

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
Disallow: /?s=

刚才看到 filination.com上面提到的一个robots文件，并且提供了简短的解释。刚刚接触robots.txt文件的朋友，可以参考一下：

User-agent: Googlebot

# Disallow all directories and files within
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/

# Disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$

# Disallow parsing individual post feeds, categories and trackbacks..
Disallow: */trackback/
Disallow: */feed/
Disallow: /category/*

Robots.txt因人而异，不同的人对robots有不同的理解，在加上SEO一直是一个热门话题，所以WordPress的robots文件不会是唯一的，也不会有一个最好的。大家要是有觉得更好的，不妨分享一下。

这几天我记录了搜索引擎网站的机器人对我网站的爬行，发出来供大家研究（我是10号向各搜索引擎提交网站的）：

2008年 九月 11日 17:46 更新  提交第二天

Googlebot 247+5 4.41 M字节 2008年 九月 11日 17:14
Unknown robot (identified by ’spider’) 97 2.07 M字节 2008年 九月 11日 17:17
Yahoo Slurp 74+11 1.73 M字节 2008年 九月 11日 11:49
Unknown robot (identified by ‘bot/’ or ‘bot-’) 28 689.24 K字节 2008年 九月 11日 11:26
MSNBot 21 18.91 K字节 2008年 九月 11日 17:14
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
Unknown robot (identified by hit on ‘robots.txt’) 0+3 831 个字节 2008年 九月 11日 16:35
BaiDuSpider 0+2 554 个字节 2008年 九月 11日 05:42
其他 1+1 30.55 K字节

以上可以看出google收录最快，页面最多，247+5  前面的247是爬行的页面，+号后面是读取robots.txt文件的次数；这里面百度少的可怜；

2008年 九月 12日 22:23 更新  提交第三天

Googlebot 268+6 5.01 M字节 2008年 九月 12日 16:16
Unknown robot (identified by ’spider’) 241+2 5.45 M字节 2008年 九月 12日 21:31
BaiDuSpider 225+6 5.10 M字节 2008年 九月 12日 20:50
Yahoo Slurp 201+17 4.91 M字节 2008年 九月 12日 21:41
MSNBot 59 98.85 K字节 2008年 九月 12日 17:37
Unknown robot (identified by ‘bot/’ or ‘bot-’) 47 1.09 M字节 2008年 九月 12日 17:25
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Unknown robot (identified by hit on ‘robots.txt’) 0+16 3.79 K字节 2008年 九月 12日 21:12
Yahoo Feed Seeker 4+3 73.74 K字节 2008年 九月 10日 09:55
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 2+3 58.39 K字节

百度上来了哈～～～

2008年 九月 13日 12:08 更新  提交第四天

Googlebot 340+6 6.82 M字节 2008年 九月 13日 08:33
BaiDuSpider 337+8 7.76 M字节 2008年 九月 13日 10:21
Unknown robot (identified by ’spider’) 294+4 6.95 M字节 2008年 九月 13日 08:49
Yahoo Slurp 211+20 5.18 M字节 2008年 九月 13日 10:32
MSNBot 63 108.46 K字节 2008年 九月 13日 03:06
Unknown robot (identified by ‘bot/’ or ‘bot-’) 61 1.45 M字节 2008年 九月 13日 06:18
Unknown robot (identified by hit on ‘robots.txt’) 0+17 4.06 K字节 2008年 九月 13日 02:17
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 5+4 106.83 K字节 2008年 九月 13日 04:16
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 3+4 91.51 K字节

2008年 九月 13日 14:13 更新  提交第四天

BaiDuSpider 383+8 8.89 M字节 2008年 九月 13日 13:59
Googlebot 344+7 6.97 M字节 2008年 九月 13日 12:53
Unknown robot (identified by ’spider’) 295+4 6.99 M字节 2008年 九月 13日 13:19
Yahoo Slurp 218+20 5.39 M字节 2008年 九月 13日 13:48
MSNBot 67 118.73 K字节 2008年 九月 13日 13:02
Unknown robot (identified by ‘bot/’ or ‘bot-’) 67 1.59 M字节 2008年 九月 13日 13:16
Unknown robot (identified by hit on ‘robots.txt’) 0+18 4.06 K字节 2008年 九月 13日 11:13
BlogPulse ISSpider intelliseek.com 9+7 100.64 K字节 2008年 九月 07日 19:48
Yahoo Feed Seeker 5+4 106.83 K字节 2008年 九月 13日 04:16
Unknown robot (identified by ‘crawl’) 1+4 26.25 K字节 2008年 九月 10日 12:04
其他 3+4 91.51 K字节

百度已经赶到第一位了，而且收录的字节数明显多于其他，不知道什么原因；而且可以看出蜘蛛爬的频率很快；看来得经常更新啊。

现在的网站还没有被任何搜索引擎收录，充满期待…