文章內(nèi)容

日志分析：數(shù)據(jù)不會(huì)說謊但要學(xué)會(huì)挖掘

發(fā)布時(shí)間: 2012/9/23 15:32:56

下面就寫一下自己如何分析一個(gè)垃圾站的過程，來堅(jiān)定下大家做日志分析的信心。

起因：前段時(shí)間做了個(gè)垃圾站來玩玩，做好之后又失去了激情，就在那里放著了，提交了百度、谷歌，沒有做過外鏈，只是最近幾天隨手發(fā)了幾個(gè)垃圾帖子，算作外鏈吧。因?yàn)闀r(shí)間興趣等原因，只是偶爾下載日志來看一下，沒有做數(shù)據(jù)記錄，沒有仔細(xì)的觀察。

經(jīng)過：一直以來百度只是收錄了首頁，谷歌收錄還不錯(cuò)但是沒有排名沒有流量。前天突然興起想要把這站整一下，就去查看了一下日志，發(fā)現(xiàn)不論百度還是谷歌蜘蛛來的次數(shù)很少，抓取也是少得可憐。

結(jié)論：仔細(xì)分析了下，發(fā)現(xiàn)原來已經(jīng)在很多地方體現(xiàn)了現(xiàn)在的惡劣后果。

1.蜘蛛來的次數(shù)很少，雖然網(wǎng)站沒有做外鏈，但是對(duì)于一個(gè)架構(gòu)合理的網(wǎng)站（已經(jīng)提交搜索引擎抓取）來說，一個(gè)月的時(shí)間已經(jīng)能夠積累一定權(quán)重讓很多蜘蛛來主動(dòng)抓取了（看抓取次數(shù)）。

2.抓取數(shù)量很少，抓取數(shù)量=總抓取時(shí)間/每個(gè)頁面加載時(shí)間，根據(jù)日志查看的總抓取時(shí)間和監(jiān)控寶監(jiān)控的網(wǎng)頁加載時(shí)間，數(shù)據(jù)嚴(yán)重不相符（對(duì)比上圖的總停留時(shí)間、總抓取量和下圖的響應(yīng)時(shí)間，悲劇的被遮住了重要數(shù)據(jù)，是337ms）。

3.再看日志源文件，蜘蛛的抓取應(yīng)該是快速密集的，通過數(shù)據(jù)提取明顯有很大的問題（注意蜘蛛兩次抓取時(shí)間間隔，應(yīng)該是密集的，這是網(wǎng)站改動(dòng)后還算正常的截圖，之前的一塌糊涂）。

4.仔細(xì)觀察就會(huì)發(fā)現(xiàn)日志中路徑的抓取錯(cuò)誤和返回碼的錯(cuò)誤（注意狀態(tài)碼，蜘蛛居然主動(dòng)給后邊加了/，抓取1746.html/ 才是返回200）。

5.谷歌網(wǎng)站管理員工具的應(yīng)用，有一個(gè)功能：像Googlebot一樣抓取。在這里可以測(cè)試一個(gè)網(wǎng)頁是否能被谷歌抓取成功和網(wǎng)頁的返回狀態(tài)碼，自己之前只是測(cè)試了首頁，這次測(cè)試了下內(nèi)頁居然返回的是301。