錯(cuò)誤鏈接的抓取

上圖是隨便抽取的幾個(gè)蜘蛛返回404狀態(tài)碼的抓取頁面，從圖中的標(biāo)注可以看出，即使網(wǎng)站沒有死鏈，蜘蛛仍然會(huì)抓取一部分死鏈，百度蜘蛛喜歡抓取一半U(xiǎn)RL然后就被勾引到別的地方，而谷歌也有htm后綴抓成html的情況，不過相對來說，谷歌的抓取錯(cuò)誤還是非常少的，而百度就不少了，究其原因，估計(jì)只有兩家公司的工程師才清楚，我們也沒必要去關(guān)注這個(gè)原因。針對這一點(diǎn)，無論你的站有沒有死鏈，盡量都去給加上404錯(cuò)誤頁面，因?yàn)椋还苣阌心居兴梨湥┲攵紩?huì)抓到。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]