網(wǎng)站日志中百度蜘蛛的真?zhèn)闻袛辔覀儾榭淳W(wǎng)站日志的時候會看到百度蜘蛛：Mozilla/5.0 (comp

發(fā)布時間: 2012/9/23 15:33:24

我們查看網(wǎng)站日志的時候會看到百度蜘蛛：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)來爬行我們的網(wǎng)頁。大家現(xiàn)在都知道有些站長工具或者采集程序，冒充百度蜘蛛來爬行我們的網(wǎng)站，那么我們怎么判斷爬行我們網(wǎng)站的是不是真正的百度蜘蛛呢。

其實非常簡單如果你用的是Windows操作系統(tǒng)那么可以用Windows自帶的命令行命令tracert來判斷是否只真正的百度蜘蛛。

首先查看百度蜘蛛的IP，然后點擊開始運行，輸入cmd，打開命令行，然后輸入tracert 61.135.186.12，這里61.135.186.12代表網(wǎng)站日志里的百度蜘蛛的IP，那么可以看到如下的內(nèi)容：

如果里面有crawl.baidu.com的內(nèi)容，那么說明就是真正的百度蜘蛛，如假包換。

上面這個截圖里面含有ad，（baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]），那么應(yīng)該是百度聯(lián)盟的蜘蛛用來抓取頁面里的內(nèi)容以便匹配廣告用的。

如果是真正的百度蜘蛛那么就是類似于（baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23]）這樣的結(jié)果就是真正的百度蜘蛛。

經(jīng)過觀察LiboSEO自己網(wǎng)站的百度蜘蛛IP并經(jīng)過測試得出：IP范圍在220.181.108.11 ~ 220.181.108.210 之間和123.125.71.11 ~ 123.125.71.161之間的都是真正的百度蜘蛛IP。這樣記錄下經(jīng)常見的百度蜘蛛IP，方便一眼就看出日志里的是否真正的百度蜘蛛。

本文出自：億恩科技【www.ypdoo.com.cn】

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]