robots.txt作为所有搜索引擎共同遵循的规则协议书,当搜索引擎蜘蛛爬行站点时先检测网站有无robots其次依照robots规则范围进行爬行,如果没有robots.txt,那么蜘蛛就会沿着链接抓取。请牢