WordPress自从2.1版本开始，在Privacy选项里面允许用户设置是否被搜索引擎索引。但是它只有2个选项，一个是允许所有搜索引擎的机器人（Spider）索引所有内容，另外一个就是不允许。其实robots.txt的用法有很多（robots.txt带来的好处），最近看了一些文章说，在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名，这篇文章说，通过将comment feeds与Trackbacks排除在外，他的网站访问量上升了11.3%。
通过我的Google Analytics来看，访问这里的人有2/3的是新访者，而这些新访者中又有2/3来自于搜索引擎，所以对于搜索引擎的优化还是很重要的。综合了上面2个例子，我把自己的robots.txt内容设置如下：
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
意思就是：
允许所有的搜索引擎的机器人（Spider）访问本站，
但是不能爬行以wp-开头的文件和目录，
不能爬行/feed/、/comments/feed/和/trackback/目录。
修改后可以使用Google网站管理员工具 – 诊断 – robots.txt 分析 测试一下。
相关文章：
How to SEO Your WordPress Blog（SEO你的WordPress博客几个方法）
1、建议把友好链接结构设置为“%postname%”。(如果需要修改Permalinks，强烈推荐使用“Dean’s Permalinks Migration”插件，它可以把以前的友好链接地址转向修改后的新地址。）
2、使用Related Posts插件。
3、使用Metatags插件（就是能在meta的keywords中插入tag的插件）。
Ultimate Tag Warrior 3.14 以上版本也有这个功能，需要在 Options -> Tags 里勾选“Include meta keywords“选项。
4、使用“Sitemap Generator Plugin for WordPress”
5、在“Options -> Writing -> Update Services”中填入56个RPC服务。
6、在Technorati中创建一个帐户，把你的WP博客加入其中。
相关插件：
HeadSpace 2，在撰写文章时发布按钮下方会看到有多出”meta data”项目，其中可以填入相关描述和meta信息。
btc-meta-plugins，在每篇文章中自己手动填写description、keywords等信息。
