Onlyisu前两天设置写了一片关于设置robots.txt的文章，至于生效没生效还是不知道的，下面就告诉大家一个好的验证方法。
如何检测robots写的是否正确?答案就是用google管理员工具里面实验室 “像Googlebot 一样抓取” 这个功能，当你写好robots规则以后，去那边把你认为应该屏蔽的网址输入，看返回结果，如果返回结果显示“已被 robots.txt 拒绝”，那么表示你设置成功！
在这里我从gg的相似内容里面找了下面几个链接，我们来测试一下设置robots之后，有没有效果。
链接：
http://onlyisu.in/tag/dsp-2/feed
http://onlyisu.in/page/2?wpmp_switcher=mobile
http://onlyisu.in/微软今起黑屏警示盗版.html/trackback
测试结果：
我们可以看到，现在这几个页面现在已经被robots限制了。
Google对于处理新的robots.txt文件最多可能需要一天。Baiduspider通常每天访问一次网站的robots.txt文件，但对robots所做的修改，会在48小时内生效。需要注意的是，robots.txt禁止收录以前已收录的内容后，曾经被搜索引擎收录的内容从搜索结果中去除可能需要数月的时间。
具体的robots设置及本站的robots设置请参看修正wordpress的robots.txt做好SEO一问，里面有详细的介绍。
