允许所有搜索引擎访问网站的所有部分 禁止所有搜索引擎访问网站的所有部分 需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引 可以使用网上工具生成: http://tool.chinaz.com…