?


近段時(shí)間,百度有人問(wèn)筆者——為什么我每天堅持更新內容,收錄卻不被百度收錄呢?慢辦
我的第??一反應??是是不是因為采集內容等違規操作導致網(wǎng)站被K了。
后來(lái)仔細排查了一下,快檢才發(fā)現原來(lái)是查下該網(wǎng)站的robots文件書(shū)寫(xiě)錯誤導(dao)致的。
事情是文件這樣的,該網(wǎng)站的否書(shū)范很多頁(yè)面URL都是動(dòng)態(tài)的URL,因此也不知出于什么原因,寫(xiě)規設置了Disallow,百度從而導致網(wǎng)站上很多的收錄資訊頁(yè)和內容頁(yè)都不被抓取。
重新生成robots文件提交之后就恢(′;ω;`)復正常了。慢辦
愚人今天就來(lái)跟大家說(shuō)說(shuō),SEO中robots文件的否書(shū)范書(shū)??寫(xiě)規范。
Robot??s.txt 是存放在站點(diǎn)根目錄下的一個(gè)純文(wen)本文件。雖然它的設??置很簡(jiǎn)單,但是作用卻很強大。它可以指定搜索引擎蜘蛛只抓取指定的內(nei)容??,或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分??或全部?jì)热荨?/p>
使用(╯°□°)╯方法:
Robots.txt 文件應該放在網(wǎng)站根目錄下,并且該文件是可以通過(guò)互聯(lián)網(wǎng)進(jìn)行訪(fǎng)問(wèn)的。
例如:如果您的網(wǎng)站地址是 http://www.biomart.cn/那么,該文件必須能夠通過(guò)
http://www.biomart.cn/robots.txt 打開(kāi)并看到里面的內容??。
格式:
User-agent:
用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多條User-ag??ent記錄說(shuō)明有多個(gè)??搜索??引擎蜘蛛會(huì )受到該協(xié)議的限制,對該文件來(lái)說(shuō),至少要有一條User-agent記錄。如果該項的值設為*,則該協(xié)議對┐(′?`)┌任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"這樣的記錄??只能有一條。
Disalヽ(′▽?zhuān)?ノlow:
用于描述不希望被訪(fǎng)問(wèn)到的一個(gè)URL,這個(gè)URL可以是一??條完整的路徑,也可以是部分的,任何以Disallow開(kāi)頭的URL均不會(huì )被Robot訪(fǎng)問(wèn)到。
舉例:
例一:"Disallow:(???)/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。
例二:"Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。
例三:Disallow記錄為空說(shuō)明該網(wǎng)站的所有頁(yè)面都允許被搜索引擎抓取,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"( ?ω?)/robots.txt"是一個(gè)空文件,則對于所有的搜索引擎蜘蛛,該網(wǎng)站都是開(kāi)放的可(′?_?`)以被抓取的。
#:Robots.txt 協(xié)議中的注釋符。
綜合例子 :
User-agent:
*Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html
例二:通過(guò)"/robot(′?`)s.txt"只允許某個(gè)搜索引擎抓取,而(er)禁止其他的搜索引擎抓取。如:只允許名為"slurp"的搜索引擎蜘蛛抓取,而拒絕其他的搜索引ヾ(?■_■)ノ擎蜘蛛抓取 "/cgi/" 目錄下的內容,設置方法如下:
User-agent:
*Disallow: /cgi/( ?ヮ?)
User-a??gent: slurp
Disallow:
例三:禁止任何搜索引ヽ(′▽?zhuān)?ノ擎抓取我的網(wǎng)站,設置方法如下:
User-agent:
*例四:只禁止某個(gè)搜索引擎抓取我的網(wǎng)站如:只禁止名為“slurp”的搜索引擎蜘??蛛抓取,設置方法如下:
User-agent: slurp(╯‵□′)╯
Disallow: /
版權聲明:本文內容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻,該文觀(guān)點(diǎn)僅代表作者本人。本站僅提供信息存儲空間服務(wù),不擁有所有權,不承擔相關(guān)法律責任。如發(fā)現本站有涉嫌抄襲侵權/違法(fa)違規的內容, 請發(fā)送郵件至 [email protected] 舉報,一經(jīng)??查實(shí),本站將立刻刪除。
搜索引擎推廣的策略有哪些?
搜索引擎的工作過(guò)程(如何讓網(wǎng)頁(yè)出現在搜索結果中)搜索引擎收錄網(wǎng)站的五個(gè)基本條件是什么?如何優(yōu)化網(wǎng)站以滿(mǎn)足這些條件?搜索引擎蜘蛛爬行與抓取原理與規則解析(從抓取源碼到網(wǎng)頁(yè)分析)
手機:
13910811300
電話(huà):
010-52661970
傳真:
010-82694569
網(wǎng)址:www.javn.cn
郵箱:[email protected]
朝陽(yáng)一部:朝陽(yáng)區紫芳路九號院廣順園2號樓2605A
海淀二部:回龍觀(guān)黃平路19號院泰華龍旗廣場(chǎng)E座1212室(距西三旗橋2公里,8號線(xiàn)育新站海淀昌平交界)
© 2025.Company name All rights reserved.網(wǎng)站地圖 天津九安特機電工程有限公司-More Templates 粵ICP備888888號