我认为机器人协议是站长行使网站支配权的执行文件，这是我们作为站长最基本的权利。 因为搜索引擎的蜘蛛是爬网站之前面对的第一道门，所以也考虑到了robots协议的重要性。 说细节决定成败，那么重要的东西细节特别重要，很多时候自己不小心忽略的细节到最后都有可能成为你的致命打击。 本人之所以这么说，是因为我差点成为这个问题的反面教材。 因为一找到就死羊就要进牢了吧。 我想马上和大家分享是因为今后自己站着的时候不要犯同样的错误。
事实是今天。 小明SEO博客也刚做好，我发现前几天网站上线后有很多需要处理的小问题。 为了避免网站在调整过程中被搜索引擎抓住，robots协议写了禁止所有搜索引擎爬上网站的任何部分的命令。 网站调整持续了几天(因为长这么久是受不了伤的人，不知道不是强迫症的一种)，昨天也完全竣工了，在这期间，我每天坚持添加原创文章。 昨天网站检查结束，所有问题都解决后，重新交换robots协议，发送蜘蛛希望爬虫类早日登上我的网站的帖子。 这样，到了今天早上发现网站还没有收录，所以去百度站长的工具平台看看我的网站到底是什么状况，进去一看吓了一跳。 因为我看到了下面(如图所示)的信息。
//www.xminseo.com/wp-content/uploads/2015/02/tishi.png
我的网站竟然全面封锁了百度。 检查时间是今天(2月4日)上午5点左右。 像丈二的僧侣一样摸不到头。 不科学。 昨天2月3日上午更改了网站上的robots协议，真的很奇怪。 总算在站长平台工具的“robots检查”中找到了答案。 请看下图。
//www.xminseo.com/wp-content/uploads/2015/02/shijian.jpg
百度蜘蛛早在我网站蜘蛛上线后的第三天就获得了我网站的robots协议，所以现在生效的协议是当时它获得的我把蜘蛛全部屏蔽了的时候，本站最新的robot协议还没有既然知道了原因，就容易做了。 于是我马上更新了协议提交。 如下图所示。
//www.xminseo.com/wp-content/uploads/2015/02/gengx.png
更新后一分钟内协议被更新了。 如下图所示。
//www.xminseo.com/wp-content/uploads/2015/02/gengxinyihou.jpg
可知现在本站的最新robots有效。 这样到了下午，我再次进入百度站长平台时收到了新消息。 下图所示。
//www.xminseo.com/wp-content/uploads/2015/02/yijingjiefeng.jpg
现在网站解除了robots协议对百度的全面禁止。 检查时间从今天下午两点开始。 一到晚上差不多三个多小时前，我再次检查网站的收录情况时，网站的首页已经被收录了。 如下图所示。
//www.xminseo.com/wp-content/uploads/2015/02/shoulu1.png
网站终于被收录了，最高兴的是通过自己的努力发现问题并解决了。 这是今天最大的成就。 当然，如果找不到这个问题，网站可能还有10天半就不会着色了。 所以，对于robots协议，在阻止蜘蛛后后期解除阻止时，一定要记住及时更新robots协议“http:\\域名\ 你可能认为输入robots.txt来改变网站的协议就行了，但在实践中为了证明这种方式不是完全可靠的，必须记住这次的经验。 robots一调整就必须提交更新。
温暖的提示：我刚才看到时间了。 已经第二天了。 写这篇文章是2月4日，现在发表的时间是2月5日。 所以，文章中提到的“今天”是2月4日。 大家不要混乱。
