User-agent: *表示允许全体搜索引擎蜘蛛访问

User-agent:Baiduspider 表示允许百度搜索引擎蜘蛛访问

Disallow: /abc 表示禁止访问收录abc.文件下的所有内容

Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，不限制abc.php、abc.html文件。

插件、模板、js文件这些是网站的后台程序代码，也可以屏蔽

Disallow: /wp-content/plugins/ 限制插件文件

Disallow: /wp-content/themes/ 限制模板文件

Disallow: /wp-includes/ 限制js文件

Disallow: /? 限制动态页面

Allow规则同Disallow

下面是wordpress博客robot通用设置方法：

/---------分割线--------/

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: //comment-page-

Disallow: /?replytocom=

Disallow: /category/*/page/

Disallow: /tag/*/page/

Disallow: /*/trackback

Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

Disallow: /?s=*

Disallow: //?s=\

Disallow: /?

Disallow:/tag/

Disallow: /attachment/

Disallow: /search.html

Disallow:/404.htm

Sitemap: 你的域名/sitemap.xml

/---------分割线--------/

其中sitemap.xml是你的网站的网站地图文件。

sitemap.xml的创建是为了更有利于搜索引擎的的抓取策略，从而提高工作效率。

Sitemap.html格式的网站地图主要用来方便用户的浏览使用，并不能起到 XML Sitemap 所起的作用。

提示：

良好的robort.txt协议可以指导搜索引擎抓取方向，节省“蜘蛛”抓取时间，所以无 形中提升了“蜘蛛”的工作效率，也就提高了页面被抓取的可能性了。

wordpress自定义链接伪静态设置：/%post_id%.html