robots文件的文件寫(xiě)法
rotbots.txt文件用于告訴搜索引擎蜘蛛禁止抓取網(wǎng)站的某些內容??或者指定運行抓取某些內容。 nMK$&h,樣寫(xiě){ ?
搜索引ヾ(′▽?zhuān)??擎蜘蛛在訪(fǎng)問(wèn)站點(diǎn)首頁(yè)就會(huì )擦看網(wǎng)站根(′▽?zhuān)?)目錄下的robots.txt，robots.txt必須全部為英文小寫(xiě)狀態(tài)才生效。分享 }xr?yRobots.txt的自己寫(xiě)法（1） H:)_[1];k
Disallow：該項的樣寫(xiě)值用于描述不希望被訪(fǎng)問(wèn)到一個(gè)url，一個(gè)目??錄或者整個(gè)網(wǎng)站，分享以disallow開(kāi)頭的自己??url均不會(huì )被搜索ヾ(′ω｀)?引擎??蜘蛛訪(fǎng)問(wèn)到。任何一條disallow記錄為空，(°o°)術(shù)成說(shuō)明該網(wǎng)站的文件所有部分都被抓取ヽ(′ー｀)ノ。 u M\5G???[1]K
Robots.txt的樣寫(xiě)寫(xiě)法（2） Eq%f`Qg+1E
基本規則： -84!H[1]d.H
Allow：告訴蜘蛛應該抓取某些文件，由于不指定就是分享允許抓取， Bf.iRh0Q5
Allow：?jiǎn)为殞?xiě)沒(méi)有意義，自己allow和disal(╯°□°）╯︵ ┻━┻low配合使用，術(shù)(shu)成可以告訴蜘蛛某個(gè)項目下大部分不允許抓取，只允許抓取一部分。 ??
q(???)?b35
用法舉例：不抓取/ab(′?ω?`)/目錄下其他目錄和文件，但允許抓取其中/cd/目錄下的內容。 l/,la]!T
User-agent:* @C<ofg3E
Disallow：/ab/ _RI
lGs\.
Robots.txt的寫(xiě)法（3） ‘J$@~
P
基本規則： ey-u?yaSE
通配符：匹配url結尾的字符 =P%&]5ts
*通配符：告訴蜘蛛匹配任意一段字符 ; N
H^+h
用法舉例：允許蜘蛛抓取以.(′▽?zhuān)?html為后綴的??URL Ia&l?t; V\$#
User-agent：* X- 5\xq+Ih
禁止百度去抓取所有的.JPG文件 E#\Oe_eq~N
User-agent:baiduspider m8;w7S7,j~
D(′▽?zhuān)?isallow： T-#4hY`??
Robots.txt的寫(xiě)法（4） O
,9^R
基本規則： ^vヾ(?■_■)ノPsp?
Sitemap位置：告訴蜘蛛xml網(wǎng)站地圖在ヽ(′?｀)ノ哪里 5.*,IedY
第一個(gè)S大寫(xiě) Sitemap：http://www.uwewe.com
弈安傳媒科技微課堂,每天分享財經(jīng)資訊,計算機技術(shù)??知識,人生感悟,創(chuàng )業(yè)指導以及各種專(zhuān)業(yè)技術(shù)知識資料學(xué)習交流.移動(dòng)學(xué)習平臺、知識分享平臺。隨時(shí)隨地的學(xué)習,如果你喜歡成長(cháng)(chang),這里你不容錯過(guò)的地方.弈安傳媒科(ke)技ヾ(′ω｀)?培訓關(guān)注:關(guān)注自己成長(cháng),分享內容,分享自己的技術(shù),成就未來(lái).
中文 
