如何正确识别百度蜘蛛?只需做这两点

很多SEO员工刚接触这个行业时,经常被问及什么是百度蜘蛛。 可以理解为百度蜘蛛是用于抓住网站链接的IP。 小编经常百度蜘蛛来,服务器爆炸。 如果你识别不出百度蜘蛛,你怎么知道百度蜘蛛爆炸了? 有时百度蜘蛛不来,也有很多网站想得到百度蜘蛛的IP段,想把IP列入白名单,但无法识别百度IP。

怎样才能识别正确的百度蜘蛛呢? 来,做两分,就能正确识别百度蜘蛛。

一、看UA,如果UA错了,可以直接判断百度搜索以外的蜘蛛。 现在公开的UA如下。

移动UA:Mozilla/5.0 (Linux; u; 安卓4.2.2; zh-cn; 苹果WebKit/534.46 (khtml,Like Gecko )版本/5.1 mobile safari/10600.6.3 (兼容; Baiduspider/2.0; //www.Baidu.com/search/spider.HTML )

PCUA : Mozilla/5.0 (兼容; Baiduspider/2.0; //www.Baidu.com/search/spider.HTML )

新的渲染UA:

移动UA:Mozilla/5.0 (iPhone; cpuiphoneos9_1Like MA cosx ) apple WebKit/601.1.46 (KHTML,Like Gecko ) version/9.0 Mobile/13 B144 BaidusPider-Render //www.Baidu.com/search/spider.HTML )

PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; //www.Baidu.com/search/spider.HTML )

二、注销IP

站长通过DNS检查IP,可以判断某个spider是否来自百度搜索引擎。 不同的平台有不同的认证方法。 例如,linux/windows/os在三个平台上的认证方法分别如下:

正确识别百度蜘蛛

(在linux平台上,可以使用host ip命令反向分析ip,以确定是否从Baiduspider进行捕获。 Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名,除了*.baidu.com或*.baidu.jp以外都是冒充的。

(在windows或IBM OS/2平台上,可以使用nslookup ip命令反向分析ip,以确定是否从Baiduspider捕获。 打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(ip地址)即可分析IP,判断有无来自Baiduspider的捕获。 Baiduspider的hostname是*.baidu.coom。

(在mac os平台上,可以使用dig命令反向解析ip,判断有无从Baiduspider捕获。 打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)后解析IP,判断有无来自Baiduspider的捕获,Baiduspider的hostname在*.baidu.com或*中

收藏
0
有帮助
0
没帮助
0