允许所有搜索引擎访问网站的所有部分

//robots.txt写法如下：
User-agent:  *
Disallow:
//或者
User-agent:  *
Allow:  /

注意： 1. 第一个英文要大写，冒号是英文状态下，冒号后面有一个空格，这几点一定不能写错。

禁止所有搜索引擎访问网站的所有部分

User-agent:  *
Disallow:  /

需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引

User-agent:  *
Disallow:  /css/
Disallow:  /admin/
Disallow:  /images/

可以使用网上工具生成: http://tool.chinaz.com/robots/