很多建设系统在建设网站后，在所有网站的根目录中默认robots.txt协议文件。 在网站优化竞争日益激烈的今天，最初设立的没有优化因素的robots.txt文件也被最大化使用，掌握了其写法，掌握了有无患者。
robots.txt协议文件有什么用？
搜索引擎访问网站时，第一个访问的文件是robots.txt。 她告诉搜索引擎蜘蛛能捕获哪个网站页面，不能捕获哪个网站页面。 从表面上看，这个功能的作用有限。 从搜索引擎优化的观点来看，屏蔽页面可以起到集中权重的作用，这也是优化者最重要的地方。
以seo站点为例，robots.txt文件如下：
//www.xminseo.com/wp-content/uploads/2017/09/1-29.png
2 :在网站上安装robots.txt的几个理由。
1 :设置访问权限以保护站点安全。
2 :禁止搜索引擎爬无效的页面，把权重集中在主页上。
三：如何用标准写法写协议？
我们需要掌握一些概念。
User-agent指示定义哪个搜索引擎，如User-agent:Baiduspider，并定义百度蜘蛛。
Disallow表示禁止访问。
Allow表示要执行访问。
以上三个命令可以组合多种写法，允许哪个搜索引擎访问或禁止哪个页面。
四： robots.txt文件放在哪里？
这个文件必须放在网站的根目录中，字符大小有限制。 文件名必须是小写字母。 所有命令的第一个字母必须是大写字母。 其余的小写字母。 另外，命令后需要英语文字空间。
5 :我需要什么时候使用这个协议？
1 :浪费的页面，很多网站都有联系方式和用户协议等页面。 这些页面对搜索引擎的优化没有太大的效果
2 :动态页面、企业类型网站屏蔽动态页面，有助于网站的安全。 另外，多个网站访问同一页面时，权重会分散。 因此，通常会屏蔽动态页面，并保留静态或伪静态页面。
3 :网站背景页面、网站背景也可以分类为无用的页面，禁止收录是有益的，没有害处。
资料来源： robots.txt协议
