?
在網(wǎng)站排除檢索的差別部分,先前本站淺談過(guò)Robots.txt主要是使用時(shí)機應用在提交給搜尋引擎不需要檢索的頁(yè)面名單,也介紹過(guò)Robots.txt的差別實(shí)際應用與設定,因此了解排除”檢索”的使用時(shí)機部分后,我們將要更進(jìn)階的差別介紹排除”索引”部分,反觀(guān)由開(kāi)始淺談部分時(shí),使用時(shí)機我們曾提到搜尋引擎其實(shí)是差別透過(guò)的”檢索”與”索引”兩種功能來(lái)將網(wǎng)站網(wǎng)頁(yè)資訊進(jìn)行收錄并提供使用(′Д` )者查詢(xún),所以淺談Rob??ots.txt主要是使用時(shí)機針對檢索這項功能進(jìn)行排除。
而檢索與索引這兩項功能雖然有極大的差別關(guān)聯(lián)性,但實(shí)??質(zhì)上在網(wǎng)頁(yè)上進(jìn)行的使用時(shí)機動(dòng)作并不相同,??這邊我們用更(geng)白話(huà)的差別敘ヾ(?■_■)ノ述就是
檢索= 檢查
索引= 收藏
所以搜尋引擎在實(shí)際上的運作順序是先透過(guò)檢查頁(yè)面內(nei)容與連結后,才決定是使用時(shí)機否要收藏,因此Robots.txt 的差別作用就是在搜尋引擎來(lái)訪(fǎng)時(shí),藉由直接提出不需要檢查的使用時(shí)機資訊,想當然爾就更不可能會(huì )被收藏,差??別達到不檢查、不收錄的效果。
在更(′▽?zhuān)?明確的知道搜尋引擎的收錄??原理后,我們將要介紹的部分??是透過(guò)meta robots 進(jìn)行”索引”的排除,這時(shí)(shi)相信大家將會(huì )些??疑惑,Robots.txt不就能(neng)達到不檢查、不(?Д?)收錄的效果了,為什么還需要meta robots 進(jìn)行”索引”的排除呢?這部分主要原因就是Robots.txt 會(huì )使尋引擎直接在不檢查這(′▽?zhuān)?個(gè)步驟中就會(huì )忽略相關(guān)的內容,甚至(zhi)不認為這是網(wǎng)站的內容。
但是meta robots 的應用,可以使搜尋引擎先進(jìn)行”檢查”也仍然會(huì )將內容視為網(wǎng)站的一部份,但不要ヽ(′ー`)ノ收藏提供使用者搜尋,所以這部分差異也會(huì )引響網(wǎng)站的總體完整性,因此在非必要的情況下,并不建議使用Robots.txt的使用,而是推薦met(/ω\)a robots 的使用。