怎么識別百度蜘蛛Baiduspider的真假呢 官方推薦方法

實(shí)際上，(╬?益?)識(′▽?zhuān)?別我們的百度日志中，有很多的蜘蛛真假baiduspider是他人偽裝的，要??想解決這個(gè)問(wèn)題(ti)。呢官我們必須在驗證( ?ヮ?)baiduspiヾ(′ω｀)?der真偽上下功夫，推法這(′_｀)篇文章詳細的薦方(fang)介紹了爬蟲(chóng)的鑒別方法。

我們在根據網(wǎng)站日志分析搜索引擎蜘蛛抓取網(wǎng)頁(yè)的識別記錄時(shí)，實(shí)際上很多(╬?益?)站點(diǎn)都是百度有一些偽裝稱(chēng)baiduspider的到訪(fǎng)者的。這些數據ヽ(′?｀)ノ會(huì )嚴重影響我們對日志分析后的(de)蜘蛛真假判斷。

這些到訪(fǎng)者，呢官為什么會(huì )偽裝為baiduspider來(lái)訪(fǎng)問(wèn)我們的推法(fa)網(wǎng)站呢？最典型的就是采集你內容ヽ(′▽?zhuān)?ノ的那些人。他們知道很多工具是薦方能夠看到哪些ip訪(fǎng)問(wèn)網(wǎng)站的(de)量過(guò)大的。例如某一個(gè)ip今天訪(fǎng)問(wèn)你網(wǎng)站1萬(wàn)次，識別那正常嗎？百度肯定是不正常的。但他要是蜘蛛真假baiduspdier呢？呵呵，那就正常了。

Mozilla/5.0(compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.ht??ml）

Mozilla/5.0(compatible;Baiduspider-render/??2.0;+h?ttp://www.baidu.com( ?ヮ?)/search/spider.html)

Mozilla/5.0(Linux;u;Android4.2.2;zh-cn;)AppleWebKit/53??4??.46(KHTML,likeGecko)Version/5.1MobileSa??fari/10600.6.3(compatible;??Baidus(′?｀*)pider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOS(//ω//)X)AppleWebKit/60??1.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.b(′Д` )aidu.com/search/spider.html)

如上是包含了百度的常規爬蟲(chóng)，和渲染爬蟲(chóng)render的。這兩個(gè)爬蟲(chóng)的區別符已經(jīng)用紅色字體標出來(lái)了。

可以通過(guò)DNS反查方式來(lái)解決這個(gè)問(wèn)題。根據平臺不同驗證方法不同，如linux/windows/os三種┐(′д｀)┌平臺下的驗證方法分別如下：

1??、在linux平臺下，您可以使用hostip命令(╯°□°）╯反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baidusp??ider的hostname以.(′?ω?`)baid?u.com或.baidu.jp的格式命名，非.baidu.com或.baidu.jp即為冒充。

2、在windows平臺或者IBMOS/2平臺下，您可以使用nslooku???pip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打(da)開(kāi)命令處理器輸入nslookupxxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以.baid??u.com或.baidu.jp的格式命名，非.b??aidu.com或.baidu.jp即為冒充。

3、在macos平臺下，您可以使用dig命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器輸入digxxx.xxx.xxx.xxx（IP地址）就能解(°ロ°) !析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的h(′?_?`)ostname以.baidu.com或.baidu.jp的格式命名，非.baidu.com或.baidu.jp即為冒充。

文章轉自：黎青松SEO博客

來(lái)源地址：http://www??.alitaohuo.com/SEOヽ(′▽?zhuān)?/baike/SEOrumenjiaocheng/200??5.html