爬蟲(chóng)是網(wǎng)站目前最常見(jiàn)的網(wǎng)絡(luò )程序，曾經(jīng)有過(guò)統計，協(xié)議詳解說(shuō)是何設目前的網(wǎng)絡(luò )流量有一半以上是爬蟲(chóng)使用的。

雖然爬蟲(chóng)程序隨處可見(jiàn)，置Rs中但是標簽并不代表這種做法就是合理合法的。

在抓取網(wǎng)頁(yè)時(shí)，用法我們要讓自己的網(wǎng)站爬蟲(chóng)遵守Robot.txt協(xié)議。

一般網(wǎng)站有兩種方式聲明不想被爬蟲(chóng)爬取按：第一種是協(xié)議詳解在站點(diǎn)的根目錄下增加一個(gè)純文本文件，例如

ht(′▽?zhuān)?)tp://www.aaa.com/robots.txt。何設第二種是置Rs中直接在頁(yè)面(mian)中使用robots的meta標簽。

接下來(lái)，標簽詳?細介紹一下(xia)robots的用法meta標簽。

index指令：表示Robot可以索引本頁(yè);

noindex指令：表示拒絕Robot索引本頁(yè)，但可跟蹤該頁(yè)上的鏈接;

nofollow指令：表示拒絕Robot??跟蹤本頁(yè)鏈接，但可索引本頁(yè)

根據以上的命令，我們就有了一下的四種組合：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本頁(yè)，而且可以順著(zhù)本頁(yè)繼續索引別的鏈接

<META NAME='ROBOTS' CONTENT='NOINDEX,FOLLOW'>：不許抓取本頁(yè)，但是可以順著(zhù)本頁(yè)抓取索引別的??鏈接

<META NAME='ROBOTS' CONTE(′▽?zhuān)?NT="INDEX,NOFOLLOW">：可以(yi)抓取本頁(yè)，但是不許順著(zhù)本頁(yè)抓取索引別的鏈接

<META NAME="ROBOTS" CONTENT='NOINDEX,NOFOLLOW'(╥_╥)>：不許抓取本頁(yè)，也不許順著(zhù)本頁(yè)抓取索引別的鏈接。

這里需要注意的是，不要把兩個(gè)對立(⊙_⊙)(li)的??反義詞寫(xiě)到一起，例如

<META NAME="ROBOTS" CONTENT='(′▽?zhuān)?)INDEX,NOINDEX'(╯‵□′)╯>

<meta name="robots" content="noarchive">

以上的一ヽ(′?｀)ノ段代碼限制了ヽ(′▽?zhuān)?ノ所有的搜索引擎建立你的網(wǎng)頁(yè)快照。

如果我們需要僅僅限制一個(gè)搜索引擎(??ヮ?)?*:???建立快照的話(huà)，就可以像如下這樣去寫(xiě)

<meta name='Googlebot' content='noarchive'>

這樣的標記是禁止搜索引擎為你的網(wǎng)站建立快照。