最近看到高端SEO社群里有同學(xué)討論Robots相關(guān)問(wèn)題(ti)，逆冬我們從實(shí)戰??的文件角度，給大家講講怎么寫(xiě)Robots寫(xiě)法，寫(xiě)法享以及在實(shí)戰中可能遇到的個(gè)實(shí)過(guò)問(wèn)題，都給大家講一下！戰┐(′д｀)┌經(jīng)希望可以幫助更多不懂??的??驗分同學(xué)！

Robots定義

什么是逆冬Robots，簡(jiǎn)單來(lái)講，文件其實(shí)(°□°)Robots就是寫(xiě)法享放在網(wǎng)站根(gen)目錄下的一個(gè)TXT文件，但是個(gè)實(shí)過(guò)這個(gè)TXT文件對搜索引擎規定，哪些頁(yè)面可以訪(fǎng)問(wèn)，戰經(jīng)哪些頁(yè)面不行。驗分

Robots規則

常用的幾類(lèi)語(yǔ)法：

google蜘??蛛：googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛(????)：msnbot

Disallow: 定義禁止搜索引擎收錄的地址

舉個(gè)例子來(lái)講：U(′?_?`)ser-agent: * Disallow: /

禁止所有搜索引擎訪(fǎng)問(wèn)網(wǎng)站，(*)為通配符

Allow: 定義允許搜索引擎收錄的地址

User-agent(′；ω；`): * Disallow: /a/ Allow: /a/b

如上面例子，限制搜索引擎抓取a目錄，但允許搜索引擎抓取a目錄下的b目錄??

$通配符

User-agent: * Allow: .htm$

匹配URL結尾的字符。如下面代碼將允(′▽?zhuān)?許蜘蛛訪(fǎng)問(wèn)以.htm為后綴的URL：

*通配符

User-agent: * Disallow: /*.htm

Sitemaps位置

Robots心得

1、許多朋友都喜歡讓搜索引擎不(bu)抓取自己的后臺，于是將自己的后臺地址寫(xiě)到??robots.txt里面，其實(shí)個(gè)人不(bu)建議這樣做，因為考慮到網(wǎng)絡(luò )安全，許多Hack都喜歡通過(guò)robots.txt看大家的后臺，方便攻擊！

2、網(wǎng)站必須ヽ(′?｀)ノ要有robots.txt，如果網(wǎng)站沒(méi)有robots.txt，搜索引擎隨意抓取的話(huà)，可能會(huì )抓取到一些低質(zhì)量頁(yè)面，從而導致網(wǎng)站收錄、流量受到影響,如上圖是沒(méi)有robots.txt。

3、當我們做完robots.txt后，一定要去【百度站長(cháng)工具平臺】抓取、測試robots.txt，以及測試??URL是否可以抓取。

文章來(lái)源：逆冬黑(′▽?zhuān)?帽SEO(ID：gh_c3dd79adc24e)，原文鏈接：https://mp.weixin.qq.com/s/jjUveBOtsRGaFzgMiq2UrQ