- 掛牌上市企業(yè)
- 60秒人工響應
- 99.99%連通率
- 7*24h人工
- 故障100倍補償
對于robots.txt的支持程度 |
| 發(fā)布時間: 2012/9/23 15:44:30 |
|
全部分析可能也不現實，這里拿Disallow: /*?*分析（禁止動態(tài)頁面抓取）。
google表現：寫了禁止就不再爬，會在谷歌站長工具中列出來它想爬被你阻止了，如下圖：
百度的表現：寫了禁止之后很少爬，但是偶爾也會爬，相信是起作用了，因為越來越少，以前一天幾次現在幾天一次。 搜狗蜘蛛：可以說是基本不聽話，也不知道是不是不吃這個規(guī)則，說它完全不吃它也吃了一點，只是把動態(tài)地址的問號拿掉了，然后照爬，一爬就是一大片，這不知道它能爬出什么東西，如下圖：
搜搜蜘蛛跟雅虎蜘蛛好像差不多，感覺還是挺有效的，禁止之后沒有再有它爬過的痕跡。 本文出自：億恩科技【www.ypdoo.com.cn】 |
0371-60135900
京公網安備41019702002023號
香港服務器租用
美國服務器租用
電信骨干機房
聯通骨干機房
