您現在所在位置： 主頁(yè) > 產(chǎn)品中心
網(wǎng)站robots文件怎么優(yōu)化（seo網(wǎng)站頁(yè)面優(yōu)化包含）
更新時(shí)間：2026-05-04 16:21:37
錯誤的網(wǎng)站文件o網(wǎng)robots文件設置對SEO的影響
對于一個(gè)新站來(lái)說(shuō)，搜索引擎爬蟲(chóng)來(lái)抓你的優(yōu)化網(wǎng)站，他們就跟大爺一樣，站頁(yè)要好吃好喝的面優(yōu)供著(zhù)，你不能讓別人自己端茶倒水ヽ(′ー｀)ノ，化包含把別人累個(gè)半死，網(wǎng)站文件o網(wǎng)你說(shuō)這樣他回去會(huì )跟他主子（搜索引擎）說(shuō)什么好話(huà)么？?jì)?yōu)化
那怎么讓他們吃好喝好呢？其實(shí)也簡(jiǎn)單，就是站頁(yè)讓他們少做點(diǎn)，我們多做點(diǎn)，面優(yōu)對于一個(gè)網(wǎng)站，化??包含那就是網(wǎng)站文件o網(wǎng)把目錄結構盡量扁平話(huà)，但是優(yōu)??化要掌握好一個(gè)度，凡事過(guò)了就物極必反，站頁(yè)蜘蛛來(lái)你網(wǎng)站，面優(yōu)你肯定要想辦法第一時(shí)間把最好的化包含文章，最想排名的關(guān)鍵詞讓它帶走，對于站長(cháng)來(lái)說(shuō)唯一能和蜘蛛交流的辦法(′▽?zhuān)?，就是robots.(′-ι_-｀)txt文件了，不知道這個(gè)東西？那可以看看這篇文章先《robots.txt文件介紹》
搜索引擎無(wú)用的網(wǎng)頁(yè)
因為SEO小也??這個(gè)站是使用WordPress搭建的，WordPress默認使用的是一個(gè)虛擬的robots.txt文件，內容比較簡(jiǎn)(′ω｀)單，沒(méi)有屏蔽feed頁(yè)面，這個(gè)頁(yè)面對搜索引擎來(lái)說(shuō)沒(méi)什么作用，谷歌也基本不收錄
所以把這些文件排除，讓搜索引擎蜘蛛只抓取那些對于他們有用的文件，因為蜘蛛來(lái)抓取一個(gè)網(wǎng)站是有時(shí)間限制的，如果把寶貴的時(shí)間花在這些沒(méi)用(yong)的內容上，對網(wǎng)站優(yōu)化來(lái)說(shuō)就太浪費了。
錯誤的robots.txt規??則
說(shuō)我??移動(dòng)設備兼容有問(wèn)題？不可能啊，我前一段時(shí)間剛花了一天時(shí)間做了??響應式(╬?益?)布局的？難道我老了不中(zhong)用了？響應式寫(xiě)錯了？帶著(zhù)這么多疑問(wèn)，我看了錯誤提示：
Googlebot blocked by robots.txt
原來(lái)我上次的騷操作(zuo)，把wp(′?_?`)-content內部的資源文件屏蔽了，下面是我修改以后完整的robots.txt文件內容，可以作為參考：
User-agent: *Disalloヾ(?■_■)ノw: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow:(′▽?zhuān)?) /*/comment-page-*Disal(′ω｀)low: /*?replytocom=*ヽ(′▽?zhuān)?ノDisallow: /cat(′-ι_-｀)egory/*/page/Disallow: /tag/*/page/Disallow: /*/trackbackDisallow: /feedDisallo(╯‵□′)╯w: /*/feedDisallow: /comments/fe(′ω｀)edDisallow: /?(′?ω?`)s=*Disallow: /*/?s=*\Disallow: /att(′?ω?`)achment/Allow:/wp-contenヾ(′ω｀)?t/uploads/A??ll???ow:/wp-content/themes/seozen2021/Allow:/wp-content/plugins/Sitemap:https://www.seozen.top/sitemap.xml
上面這些規則簡(jiǎn)單的介紹下：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺程序文件頁(yè)面( ?° ?? ?°)。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=
*禁止搜索引擎抓取評ヽ(′▽?zhuān)?ノ論分頁(yè)等相關(guān)鏈接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類(lèi)和標簽的分頁(yè)。
5、Disallow: /feed、Disallow: /*/feed(′?｀*)和Disallow: /comm??ent??s/feed(T_T)
禁止搜索引擎抓取收錄fee??d鏈接，feed只用于訂閱本站，與搜索引擎(╯‵□′)╯無(wú)關(guān)。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內搜索結果
7、Disallow: /attachment/
禁止搜索引擎抓取附件頁(yè)面，(′?｀*)比??如毫無(wú)意義的圖片附件頁(yè)面。
8、Allow: /wp-con(′ω｀*)tent/uploads/
允許搜索引擎抓取資源文件，這個(gè)很重要，可以用來(lái)判斷移??動(dòng)(′ω｀*)設備兼容性
因為這??個(gè)操作，導致谷歌對SEO小也的收錄不升還降了一點(diǎn)，我重新配置了robots.txt文件，觀(guān)察一下過(guò)幾天的情況再看看。
盤(pán)點(diǎn)網(wǎng)站S??EO優(yōu)化過(guò)程中常犯的技術(shù)錯誤
一、禁止robots文件阻止搜索引擎訪(fǎng)問(wèn)網(wǎng)站
有時(shí)候站長(cháng)在網(wǎng)站上線(xiàn)后由于粗心大意，會(huì )忘記設置robots協(xié)議，從(cong)而??導致搜索引擎蜘蛛不(bu)能訪(fǎng)問(wèn)到網(wǎng)站，也就沒(méi)有了后期的爬行抓取等操作。但是在某些情況下，如果網(wǎng)站頁(yè)面的HTML代碼中沒(méi)有索引元標記，搜索??引擎也有可能會(huì )顯示你的網(wǎng)站，因為這種情況極有可能是因為網(wǎng)站內容與大量用戶(hù)的搜索詞相關(guān)性??很高。
二、網(wǎng)站遷移需要做網(wǎng)站301重定向
網(wǎng)站在搬家的時(shí)候需要做301重定向，主要作用是能夠保證鏈接流暢，如果沒(méi)有做重定向，可能失去所有的訪(fǎng)問(wèn)者和所有鏈接。所以在做網(wǎng)??站遷移的時(shí)候需要檢查所有的鏈接有沒(méi)有設置URL的重定向，可以通過(guò)訪(fǎng)問(wèn)服務(wù)器來(lái)實(shí)現這一點(diǎn)，要驗證報告，需要下載Excel并使用VLOOKUP函數去驗證URL。如果這個(gè)操作不懂，可以咨詢(xún)慧運營(yíng)網(wǎng)絡(luò )優(yōu)化導師，我們提供免費教學(xué)指導。
三、網(wǎng)站優(yōu)化中盡量不使用循環(huán)重定(′?ω?`)向
如果網(wǎng)站頁(yè)面有多個(gè)頁(yè)面被重定向，可能就會(huì )發(fā)生循環(huán)重定向，也可能是服務(wù)器配置的問(wèn)題。這個(gè)時(shí)候訪(fǎng)問(wèn)網(wǎng)站瀏覽器可能會(huì )返回：“錯誤310（net：ERR_TOO_MANY_REDIRECTS）”，也就是網(wǎng)站重定向過(guò)多的意思。(′?_?`)
四、網(wǎng)站頁(yè)面中合理設置404頁(yè)面
搜索引擎程(′?_?`)序會(huì )檢測網(wǎng)站的錯誤頁(yè)面，也┐(′?｀)┌就是(??-)?404頁(yè)面，404頁(yè)面是為(wei)了保證用戶(hù)體驗，讓用戶(hù)在網(wǎng)站中訪(fǎng)問(wèn)到錯誤頁(yè)面的時(shí)候不迷路，(╯°□°)╯同時(shí)降低網(wǎng)站的跳出率，設置的404頁(yè)面要確保(╯‵□′)╯可以自動(dòng)返回??到首頁(yè)，如你需要給自己的網(wǎng)站設計404頁(yè)面，可以聯(lián)系慧運營(yíng)網(wǎng)絡(luò )，我們給你專(zhuān)業(yè)的建議和404源碼程序。
五、在線(xiàn)客服彈窗切記頻繁彈出
很多人做優(yōu)化網(wǎng)站有些流量之后都是急功近利，太注重客戶(hù)咨詢(xún)，所有在整個(gè)網(wǎng)站頁(yè)面都設置了頻繁的彈窗，從而大大增加了網(wǎng)站的跳出率，所以有此類(lèi)問(wèn)題的網(wǎng)站建議檢查客服代??碼并查看彈出窗口的觸發(fā)器，要記住一個(gè)原則(╥_╥)；“少即是(shi)多”。
以上問(wèn)題就是慧運??營(yíng)網(wǎng)絡(luò )為大家講解的SEO優(yōu)化中經(jīng)常遇到的一些技ヽ(′ー｀)ノ術(shù)錯誤，當然??還有一些比較深層次的，我們會(huì )在后期的內容中做更新為大家講解，如果你覺(jué)得本期的內容對你有用，歡迎你分享給更多的站長(cháng)朋友；如果你對本期內容有其他好的見(jiàn)解，也歡迎(???)你與我們溝通探討，為大家輸出更優(yōu)質(zhì)的SEO優(yōu)化知識，我們下期見(jiàn)。
版權聲明：本文內容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻，該文觀(guān)點(diǎn)僅代表作者本人。本站僅(′；ω；`)提供信息存儲空間服務(wù)，不擁有(you)所有權，不承擔相關(guān)法律責任。如發(fā)現本站有涉嫌抄襲侵??權/違法違規的內容， 請發(fā)送郵件至 [email protected] 舉報，一經(jīng)查實(shí)，本站將立刻??刪除??。
