前面幾篇文章，蜘蛛什蜘蛛小編都提到了網(wǎng)絡(luò )蜘蛛。教解那么什么是網(wǎng)絡(luò )網(wǎng)絡(luò )蜘蛛，它又有何作用呢？核心今天我們就來(lái)講講這網(wǎng)絡(luò )蜘蛛。

一．網(wǎng)絡(luò )蜘蛛是蜘蛛什蜘蛛什么。

網(wǎng)絡(luò )蜘蛛又叫網(wǎng)絡(luò )爬蟲(chóng)，教解是網(wǎng)絡(luò )一種形象的說(shuō)法，它是核心一種計算機程序，如果將互聯(lián)網(wǎng)看成一個(gè)蜘蛛網(wǎng)，蜘蛛什蜘蛛那么這個(gè)程序就??是教解網(wǎng)上爬來(lái)爬去的蜘蛛。網(wǎng)絡(luò )蜘蛛是網(wǎng)絡(luò )通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)尋找網(wǎng)頁(yè)，從網(wǎng)站某一個(gè)頁(yè)面（通常是(shi)核心首頁(yè)）開(kāi)始，讀取網(wǎng)頁(yè)的蜘蛛什蜘蛛內容，找到在網(wǎng)頁(yè)中的教??解其它鏈接地址，然后通過(guò)這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，網(wǎng)絡(luò )這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止，就好像是蜘蛛在蜘蛛網(wǎng)上爬行那樣，這就是搜索引擎蜘蛛這個(gè)名稱(chēng)的來(lái)因。搜索引擎收錄網(wǎng)站就是靠網(wǎng)絡(luò )蜘蛛來(lái)抓取的。

二. 網(wǎng)絡(luò )蜘蛛的工作原理。

搜索引擎蜘蛛訪(fǎng)問(wèn)網(wǎng)站頁(yè)面時(shí)類(lèi)似于普通用戶(hù)使用瀏覽器，蜘蛛程序發(fā)出頁(yè)面訪(fǎng)問(wèn)請求后，服務(wù)器返回HTML代碼，蜘蛛程序把收到的代碼存(cun)入原始頁(yè)面數據庫。蜘蛛訪(fǎng)問(wèn)網(wǎng)站時(shí)，首先會(huì )訪(fǎng)問(wèn)網(wǎng)站根目錄下的robots.txt??文(′?ω?`)件，如果robots.txt文件禁止搜索引擎(′?｀)抓取某些網(wǎng)頁(yè)或者內容，再或者網(wǎng)站，蜘蛛將遵循協(xié)議，不對其進(jìn)行抓取。

任何事(shi)物都有極限，搜索引擎也是┐(′ー｀)┌不可能抓取互聯(lián)網(wǎng)上的所有網(wǎng)站。這是因為一方面抓取技術(shù)的瓶頸，無(wú)法遍歷所有網(wǎng)頁(yè)。另一方(fang)面則是存儲技術(shù)和處理技術(shù)的問(wèn)??題。同時(shí)，由于數據量太大(O_O)，在提供搜索時(shí)也會(huì )有效率方面的ヾ(′▽?zhuān)??影響。因此，許多搜索引擎的網(wǎng)絡(luò )蜘蛛只是抓取那些重要的網(wǎng)頁(yè)，重要性則依據其網(wǎng)頁(yè)的鏈接深度。

網(wǎng)絡(luò )蜘蛛在訪(fǎng)問(wèn)網(wǎng)頁(yè)的時(shí)候，會(huì )遇到加密數據和網(wǎng)??頁(yè)權限的??問(wèn)題，有(′?_?`)些網(wǎng)頁(yè)是需要會(huì )員權限才能訪(fǎng)問(wèn)。網(wǎng)站的所有者可以通過(guò)協(xié)議讓( ?ω?)網(wǎng)絡(luò )蜘蛛不去抓取??，但對于一些出售報告的網(wǎng)站，他們希望搜索引擎能搜索到他們的報告，但又不能完全免費的讓搜索者查看，這樣就需要給網(wǎng)絡(luò )蜘蛛提供相應的(de)用戶(hù)名和密碼。網(wǎng)絡(luò )蜘蛛可以通過(guò)所給的權限對這些網(wǎng)頁(yè)進(jìn)行網(wǎng)頁(yè)抓取，從而提供搜索，而當搜索者點(diǎn)擊查看該網(wǎng)頁(yè)??的時(shí)候，同樣需要搜索者提(′▽?zhuān)?供相應的??權限驗證。

在站長(cháng)日??(′ω｀)志中可以看出蜘蛛爬行的痕跡，查看網(wǎng)站日志，分析搜索引擎蜘蛛爬行的頻繁程度，掌握搜索引擎更新周期。

三．如何吸引網(wǎng)絡(luò )蜘蛛。

網(wǎng)絡(luò )蜘蛛關(guān)系著(zhù)搜索引擎的收錄及排名，因此吸(′?｀)引網(wǎng)絡(luò )蜘蛛來(lái)抓取你的網(wǎng)站十分重要。

①網(wǎng)站和頁(yè)面權重：質(zhì)量高的(de)網(wǎng)站被給予很高的權重，這種網(wǎng)站上的蜘蛛爬行的深度比較高，所以會(huì )有更多的內頁(yè)被收錄。

④高質(zhì)量的原創(chuàng )文章內容：當蜘??蛛爬行和抓取文件時(shí)會(huì )進(jìn)行一定程度的??復制內容檢測，遇到權重低的??網(wǎng)站上大量轉載或抄襲內容時(shí)，很可能不再繼續爬行。因此高質(zhì)量的原創(chuàng )性文章就更 顯得尤為重要(T_T)只有寫(xiě)出高質(zhì)量的原創(chuàng )性文章對于蜘蛛來(lái)講才是能不能抓取最直接的因素了。這對新站來(lái)說(shuō)尤其重要，有的新站站長(cháng)查看日志的時(shí)候發(fā)現了蜘蛛，但是頁(yè)面從來(lái)沒(méi)有被抓取的原因，因為爬行(xing)發(fā)現是重復內容那么它講放棄抓取也就只停留在爬行過(guò)的階段。

今天我們講述了網(wǎng)絡(luò )蜘蛛這并不可怕的“動(dòng)物”，當然網(wǎng)絡(luò )蜘蛛的內容遠不是一篇文章所能概括的，我們【中網(wǎng)網(wǎng)絡(luò )客】還會(huì )繼續更新更多關(guān)于網(wǎng)絡(luò )蜘蛛和SEO的內容