很多建设系统在建设网站后,在所有网站的根目录中默认robots.txt协议文件。 在网站优化竞争日益激烈的今天,最初设立的没有优化因素的robots.txt文件也被最大化使用,掌握了其写法,掌握了有无患者。
robots.txt协议文件有什么用?
搜索引擎访问网站时,第一个访问的文件是robots.txt。 她告诉搜索引擎蜘蛛能捕获哪个网站页面,不能捕获哪个网站页面。 从表面上看,这个功能的作用有限。 从搜索引擎优化的观点来看,屏蔽页面可以起到集中权重的作用,这也是优化者最重要的地方。
以seo站点为例,robots.txt文件如下:
2 :在网站上安装robots.txt的几个理由。
1 :设置访问权限以保护站点安全。
2 :禁止搜索引擎爬无效的页面,把权重集中在主页上。
三:如何用标准写法写协议?
我们需要掌握一些概念。
User-agent指示定义哪个搜索引擎,如User-agent:Baiduspider,并定义百度蜘蛛。
Disallow表示禁止访问。
Allow表示要执行访问。
以上三个命令可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。
四: robots.txt文件放在哪里?
这个文件必须放在网站的根目录中,字符大小有限制。 文件名必须是小写字母。 所有命令的第一个字母必须是大写字母。 其余的小写字母。 另外,命令后需要英语文字空间。
5 :我需要什么时候使用这个协议?
1 :浪费的页面,很多网站都有联系方式和用户协议等页面。 这些页面对搜索引擎的优化没有太大的效果
2 :动态页面、企业类型网站屏蔽动态页面,有助于网站的安全。 另外,多个网站访问同一页面时,权重会分散。 因此,通常会屏蔽动态页面,并保留静态或伪静态页面。
3 :网站背景页面、网站背景也可以分类为无用的页面,禁止收录是有益的,没有害处。
资料来源: robots.txt协议