搜索引擎爬蟲第一次到你的網(wǎng)站都干什么

發(fā)布時間: 2012/9/23 15:45:32

就如同拜訪您的朋友，到你家門口都會禮貌的敲門，吃一兩次閉門羹或許尚可忍受，吃多了閉門羹，從此和你一刀兩斷，能否挽回交情那自要下另一番功夫了，咱們不去討論。這里看看蜘蛛爬蟲第一次到我們網(wǎng)站，它們會先干什么呢？用分析數(shù)據(jù)說話。

2011-10-12 14:53:22 *** GET /robots.txt *;+Googlebot/2.1;* 404

2011-10-13 02:16:58 *** GET /robots.txt * Baiduspider * 404

2011-10-13 11:12:00 *** GET /robots.txt * Sosospider+ * 404

2011-10-17 01:46:56 GET /robots.txt *;+Googlebot/2.1;* 200

上面的時間是GMT時間，我們是在東八區(qū)，加上8小時就是北京時間了。從上面可知，谷歌百度搜搜先后來本站請求robots.txt文件返回404錯誤，頁面無法找到。17日早6點我寫了一個robots.txt文件，谷歌第一時間請求該文件，返回200成功狀態(tài)碼。

2011-10-12 15:44:53 *** GET /index.asp *+Googlebot/2.1; * 200

2011-10-12 22:01:23 *** GET /index.asp * Sogou+web+spider/4.0 * 200

2011-10-13 01:22:19 *** GET /index.asp *;+Baiduspider/2.0; * 200

2011-10-14 12:17:47 *** GET /index2.asp *;+Googlebot/2.1;* 200

12日晚上21點左右，谷歌爬蟲率先請求了我的首頁，網(wǎng)站積極響應(yīng)返回200狀態(tài)碼，搜狗百度緊跟其后。14日為線上測試需要，把默認(rèn)首頁改成index2.asp，并在上面寫上蛋蛋的蛋，谷歌不負(fù)眾望很快收錄，三日之后還給我放了出來，讓我哭笑不得。

請注意紅色標(biāo)記Baiduspider和+Baiduspider/2.0，前面是個先頭兵？從上面結(jié)果來看，百度貌似跟著谷歌屁股走抓取反映慢半拍。我認(rèn)為不然，我喜歡用Firefox編輯測試，F(xiàn)irefox有谷歌工具條，并習(xí)慣于登錄狀態(tài)。

本文出自：億恩科技【www.czbl888.cn】

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]