meta robots 与Robots

  在网站排除检索的部分,先前本站浅谈过Robots.txt主要是应用在提交给搜寻引擎不需要检索的页面名单,也介绍过Robots.txt的实际应用与设定,因此了解排除”检索”的部分后,我们将要更进阶的介绍排除”索引”部分,反观由开始浅谈部分时,我们曾提到搜寻引擎其实是透过的”检索”与”索引”两种功能来将网站网页资讯进行收录并提供使用者查询,所以浅谈Robots.txt主要是针对检索这项功能进行排除。

  ?而检索与索引这两项功能虽然有极大的关联性,但实质上在网页上进行的动作并不相同,这边我们用更白话的叙述就是

  检索=检查

  索引=收藏

  所以搜寻引擎在实际上的运作顺序是先透过检查页面内容与连结后,才决定是否要收藏,因此Robots.txt 的作用就是在搜寻引擎来访时,藉由直接提出不需要检查的资讯,想当然尔就更不可能会被收藏,达到不检查、不收录的效果。

  ?在更明确的知道搜寻引擎的收录原理后,我们将要介绍的部分是透过meta robots 进行”索引”的排除,这时相信大家将会些疑惑,Robots.txt不就能达到不检查、不收录的效果了,为什么还需要meta robots 进行”索引”的排除呢?这部分主要原因就是Robots.txt 会使寻引擎直接在不检查这个步骤中就会忽略相关的内容,甚至不认为这是网站的内容。

  但是meta robots 的应用,可以使搜寻引擎先进行”检查”也仍然会将内容视为网站的一部份,但不要收藏提供使用者搜寻,所以这部分差异也会引响网站的总体完整性,因此在非必要的情况下,并不建议使用Robots.txt的使用,而是推荐meta robots 的使用。

收藏
0
有帮助
0
没帮助
0