×
打開(kāi)微信“掃一掃”，打開(kāi)網(wǎng)頁(yè)后點(diǎn)擊屏幕右上角分享按鈕
近段時(shí)間，百度有人問(wèn)筆者——為什么我每天堅持更新內容，收錄卻不被百度收錄呢？慢辦
我的第??一反應??是是不是因為采集內容等違規操作導致網(wǎng)站被K了。
后來(lái)仔細排查了一下，快檢才發(fā)現原來(lái)是查下該網(wǎng)站的robots文件書(shū)寫(xiě)錯誤導(dao)致的。
事情是文件這樣的，該網(wǎng)站的否書(shū)范很多頁(yè)面URL都是動(dòng)態(tài)的URL，因此也不知出于什么原因，寫(xiě)規設置了Disallow，百度從而導致網(wǎng)站上很多的收錄資訊頁(yè)和內容頁(yè)都不被抓取。
重新生成robots文件提交之后就恢(′；ω；`)復正常了。慢辦
愚人今天就來(lái)跟大家說(shuō)說(shuō)，SEO中robots文件的否書(shū)范書(shū)??寫(xiě)規范。
Robot??s.txt 是存放在站點(diǎn)根目錄下的一個(gè)純文(wen)本文件。雖然它的設??置很簡(jiǎn)單，但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內(nei)容??，或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分??或全部?jì)热荨?/p>
使用(╯°□°）╯方法:
Robots.txt 文件應該放在網(wǎng)站根目錄下，并且該文件是可以通過(guò)互聯(lián)網(wǎng)進(jìn)行訪(fǎng)問(wèn)的。
例如：如果您的網(wǎng)站地址是 http://www.biomart.cn/那么，該文件必須能夠通過(guò)
http://www.biomart.cn/robots.txt 打開(kāi)并看到里面的內容??。
格式：
User-agent:
用于描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多條User-ag??ent記錄說(shuō)明有多個(gè)??搜索??引擎蜘蛛會(huì )受到該協(xié)議的限制，對該文件來(lái)說(shuō)，至少要有一條User-agent記錄。如果該項的值設為*，則該協(xié)議對┐(′?｀)┌任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:*"這樣的記錄??只能有一條。
Disalヽ(′▽?zhuān)?ノlow:
用于描述不希望被訪(fǎng)問(wèn)到的一個(gè)URL，這個(gè)URL可以是一??條完整的路徑，也可以是部分的，任何以Disallow開(kāi)頭的URL均不會(huì )被Robot訪(fǎng)問(wèn)到。
舉例：
例一："Disallow:(???)/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。
例二："Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html，而不能抓取/help/index.html。
例三：Disallow記錄為空說(shuō)明該網(wǎng)站的所有頁(yè)面都允許被搜索引擎抓取，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"( ?ω?)/robots.txt"是一個(gè)空文件，則對于所有的搜索引擎蜘蛛，該網(wǎng)站都是開(kāi)放的可(′?_?`)以被抓取的。
#:Robots.txt 協(xié)議中的注釋符。
綜合例子 ：
User-agent:
*Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html
例二：通過(guò)"/robot(′?｀)s.txt"只允許某個(gè)搜索引擎抓取，而(er)禁止其他的搜索引擎抓取。如：只允許名為"slurp"的搜索引擎蜘蛛抓取，而拒絕其他的搜索引ヾ(?■_■)ノ擎蜘蛛抓取 "/cgi/" 目錄下的內容，設置方法如下：
User-agent:
*Disallow: /cgi/( ?ヮ?)
User-a??gent: slurp
Disallow:
例三：禁止任何搜索引ヽ(′▽?zhuān)?ノ擎抓取我的網(wǎng)站，設置方法如下：
User-agent:
*例四：只禁止某個(gè)搜索引擎抓取我的網(wǎng)站如：只禁止名為“slurp”的搜索引擎蜘??蛛抓取，設置方法如下：
User-agent: slurp(╯‵□′)╯
Disallow: /
版權聲明：本文內容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻，該文觀(guān)點(diǎn)僅代表作者本人。本站僅提供信息存儲空間服務(wù)，不擁有所有權，不承擔相關(guān)法律責任。如發(fā)現本站有涉嫌抄襲侵權/違法(fa)違規的內容， 請發(fā)送郵件至 [email protected] 舉報，一經(jīng)??查實(shí)，本站將立刻刪除。
搜索引擎推廣的策略有哪些？
搜索引擎的工作過(guò)程（如何讓網(wǎng)頁(yè)出現在搜索結果中）搜索引擎收錄網(wǎng)站的五個(gè)基本條件是什么？如何優(yōu)化網(wǎng)站以滿(mǎn)足這些條件？搜索引擎蜘蛛爬行與抓取原理與規則解析（從抓取源碼到網(wǎng)頁(yè)分析）
手機：
13910811300
電話(huà)：
010-52661970
傳真：
010-82694569
網(wǎng)址：www.javn.cn
郵箱：[email protected]
朝陽(yáng)一部：朝陽(yáng)區紫芳路九號院廣順園2號樓2605A
海淀二部：回龍觀(guān)黃平路19號院泰華龍旗廣場(chǎng)E座1212室(距西三旗橋2公里，8號線(xiàn)育新站海淀昌平交界）
© 2025.Company name All rights reserved.網(wǎng)站地圖 天津九安特機電工程有限公司-More Templates 粵ICP備888888號
