比较详细的robots.txt协议文件写法

很多建设系统在建设网站后,在所有网站的根目录中默认robots.txt协议文件。 在网站优化竞争日益激烈的今天,最初设立的没有优化因素的robots.txt文件也被最大化使用,掌握了其写法,掌握了有无患者。

robots.txt协议文件有什么用?

搜索引擎访问网站时,第一个访问的文件是robots.txt。 她告诉搜索引擎蜘蛛能捕获哪个网站页面,不能捕获哪个网站页面。 从表面上看,这个功能的作用有限。 从搜索引擎优化的观点来看,屏蔽页面可以起到集中权重的作用,这也是优化者最重要的地方。

以seo站点为例,robots.txt文件如下:

robots.txt协议文件展示

2 :在网站上安装robots.txt的几个理由。

1 :设置访问权限以保护站点安全。

2 :禁止搜索引擎爬无效的页面,把权重集中在主页上。

三:如何用标准写法写协议?

我们需要掌握一些概念。

User-agent指示定义哪个搜索引擎,如User-agent:Baiduspider,并定义百度蜘蛛。

Disallow表示禁止访问。

Allow表示要执行访问。

以上三个命令可以组合多种写法,允许哪个搜索引擎访问或禁止哪个页面。

四: robots.txt文件放在哪里?

这个文件必须放在网站的根目录中,字符大小有限制。 文件名必须是小写字母。 所有命令的第一个字母必须是大写字母。 其余的小写字母。 另外,命令后需要英语文字空间。

5 :我需要什么时候使用这个协议?

1 :浪费的页面,很多网站都有联系方式和用户协议等页面。 这些页面对搜索引擎的优化没有太大的效果

2 :动态页面、企业类型网站屏蔽动态页面,有助于网站的安全。 另外,多个网站访问同一页面时,权重会分散。 因此,通常会屏蔽动态页面,并保留静态或伪静态页面。

3 :网站背景页面、网站背景也可以分类为无用的页面,禁止收录是有益的,没有害处。

资料来源: robots.txt协议

收藏
0
有帮助
0
没帮助
0