网站SEO优化中如何识别百度蜘蛛?

浏览:发布:2021-08-24 06:08:35

百度蜘蛛可以用SEO优化站长客串来形容,但是我们遇到过站长问这样的问题:我们怎么判断对我们网站内容疯狂的蜘蛛是不是百度的:其实站长可以通过IP的DNS反向查找来判断一只蜘蛛是否来自百度搜索引擎。根据不同平台如linux/windows/os的不同认证方式,认证方式如下:

1.在linux平台下,可以使用host ip命令来反转ip,以确定它是否来自Baiduspider。Baiduspider的主机名以* Baidu.com或* .baidu.jp的格式命名,如果不是* Baidu.com或* .baidu.jp,就是冒名顶替。

2.在windows平台或IBM OS/2平台上,可以使用nslookup ip命令反向ip,判断是否被Baiduspider抓取。打开命令处理器,输入nslookup xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu.com或* .baidu.jp的格式命名,如果不是* Baidu.com或* .baidu.jp,就是冒名顶替。

3.在mac os的平台上,可以使用dig命令反向ip,判断是否来自Baiduspider。打开命令处理器,输入dig xxx.xxx.xxx.xxx(ip地址)解析ip,判断是否被Baiduspider抓取。Baiduspider的主机名以* Baidu.com或* .baidu.jp的格式命名,如果不是* Baidu.com或* .baidu.jp,就是冒名顶替。

什么是拜杜斯皮德IP

即使很多站长知道如何判断百度蜘蛛,也会不停地问“百度蜘蛛的IP是什么”。我们理解站长的意思,就是想把百度蜘蛛的IP加入白名单,只允许白名单下的IP抓取网站,避免被收集。

但是我们不建议站长这样做。虽然百度蜘蛛确实有一个真实IP切换的IP池,但我们不能保证整个IP池不会改变。因此,我们建议站长在发现恶意蜘蛛后,要经常阅读日志,并将其列入黑名单,以保证百度的正常抓取。

同时,我们再次强调,用IP来区分百度蜘蛛的属性是荒谬的,所谓的“沙盒蜘蛛”和“降能蜘蛛”从来都不存在。

标签:蜘蛛 站长 命令