相信大家在分析百度蜘蛛日志的百度不存時(shí)候經(jīng)常會(huì )發(fā)現一個(gè)問(wèn)題，就是蜘蛛抓百度蜘蛛經(jīng)常會(huì )抓取一些不存在的目錄，比如：我網(wǎng)站沒(méi)有這些目錄，目錄但是對應的解百度蜘蛛一直在抓取，或者你會(huì )發(fā)現百度蜘蛛在抓取自己的決方隱私目錄，或者說(shuō)(???)php文件，百度不存這個(gè)是蜘蛛抓為什么哪？今天就為大家進(jìn)行詳細解析，講解對應的目錄解決辦法，本篇文章干( ?ω?)貨較多，對應的解建議仔細閱讀。決方

1，百度不存如果蜘蛛只抓取首頁(yè)??，蜘蛛抓打死不抓取內頁(yè)，目錄是對應的解什么(me)情況！

很簡(jiǎn)單，決方域名有問(wèn)題，一般來(lái)講，如果遇到這種情況，域名目前可能在審核期，也就是說(shuō)，做過(guò)違規行業(yè)，或者你的程序有作弊的嫌疑，但是域名的占比較大，如果程序有問(wèn)題，開(kāi)始百度蜘蛛也會(huì )抓取一些的。

2，如果百度蜘蛛抓取一些隱私文件，例如php、zip、rar什么情況！

3，如果百度蜘蛛抓取一些隱私目錄，真蜘蛛的情況下，怎么處理。

如果你確認是真的百度蜘蛛，百度可能是在抓取你的頁(yè)面內部程序，考察你用的程序(?Д?)的版本，等，這些百度都會(huì )( ?° ?? ?°)有分辨策略的，一般來(lái)講，自己編寫(xiě)的程序，百度都會(huì )優(yōu)先給予高評分，是這樣的。我們?yōu)榱朔乐怪┲胱ト∥覀兊碾[私目錄，我們一般都會(huì )用robots.txt進(jìn)行屏蔽，記?。荷r(shí)間24小時(shí)左右。

4，如果蜘蛛抓取一些不存在的目錄，一些不存在的文件，怎么辦？

另外還有一種情況，如果你把其他的站點(diǎn)301到你當前的域名上，蜘蛛就會(huì )按照其他站點(diǎn)的URL來(lái)抓取你的網(wǎng)站，這個(gè)時(shí)候你也會(huì )發(fā)現百度??在抓取一些不存在的目錄，不過(guò)不用怕，這種對于你的站點(diǎn)沒(méi)有??傷???害的。

首先我們要明白，301狀態(tài)碼，就是重定向，如果你的頂級域名，例如daidaiseo.c(′ω｀*)om-》www.daidaiseo.com當百度抓取daidaiseo.com上面的資源時(shí)，就會(huì )出現301重定向的代碼，如果抓取www.daidaiseo.com上面的資源，就會(huì )是200狀???態(tài)碼，意思是抓取成??功。

而抓取304狀態(tài)碼是為什么那？如果你在日志上看到了3(//ω//)04狀態(tài)碼，則表示，你的資源一直都沒(méi)有變化，屬于靜態(tài)頁(yè)面資源，304狀態(tài)碼，對(′_ゝ`)于網(wǎng)站的影響比較小，一般來(lái)(′；ω；`)講是做了百度cdn，有緩存，就容易出現304狀態(tài)碼，但只要你每天給百度提交資源，時(shí)時(shí)保持更新，就沒(méi)事。

403是權限問(wèn)題，禁止訪(fǎng)問(wèn)，是你服務(wù)器進(jìn)行了設置，而444則是未找到服務(wù)器，404則是空??頁(yè)面，這個(gè)頁(yè)面丟失，這三個(gè)狀態(tài)碼，則表示網(wǎng)站出現(xian)問(wèn)題，記?。翰灰尵W(wǎng)站出現大量404，你可以讓狀態(tài)碼變成403只是限制訪(fǎng)問(wèn)ヽ(′?｀)ノ，如果都是(shi)404，則(ze)表明網(wǎng)站大量頁(yè)面不可用??，百度評分就會(huì )降低，好了，今天就講解到這么多，后面會(huì )陸續分享ヽ(′▽?zhuān)?ノ這方面(mian)的知識點(diǎn)。

文章來(lái)源：代代SEO博客

來(lái)源地址：https://www.daidaiseo.com/seoti/10949.html