可能有的何讓朋友會(huì )奇怪，網(wǎng)站的網(wǎng)站頁(yè)面不是讓(╬?益?)搜索引擎抓的越多越好嗎，怎么還會(huì )有怎么讓網(wǎng)站頁(yè)面內容不被抓取的頁(yè)面想法。
首先，內容一個(gè)網(wǎng)站可以分出去的不被被抓權重是有限，哪怕是抓取站頁(yè)Pr10的站，也不可能無(wú)限(xian)的讓??網(wǎng)容分權重出去。這權重包括鏈到別人網(wǎng)站的面內處鏈以及自己網(wǎng)站內的內鏈。
外鏈的技巧話(huà)，除非是何讓想坑被鏈的人。否則外鏈??都是網(wǎng)站需要讓搜索引擎所抓取。這不在本文討論范圍之內。頁(yè)面
而內鏈，內容因為(wei)有些網(wǎng)站有不少重復或冗余的不被被抓內容。 比如一些按條件查詢(xún)的抓取站頁(yè)搜索結果。特別(bie)是一些B2C站，在專(zhuān)門(mén)查詢(xún)頁(yè)或在所有產(chǎn)品頁(yè)面的某個(gè)位置內，都可以按產(chǎn)品類(lèi)型，型號，顏色，大小等進(jìn)行分類(lèi)搜索。這些頁(yè)面雖然對瀏覽者來(lái)說(shuō)是極大的方(fang)便ヽ(′ー｀)ノ，但對搜索引擎來(lái)說(shuō)，這可??是耗費蜘蛛極大的抓取( ???)時(shí)間，特別是網(wǎng)站頁(yè)面較多時(shí)。同時(shí)也會(huì )分散頁(yè)面權重,對SEO不利。
另外網(wǎng)站管理登陸頁(yè)面，備份頁(yè)面，測試頁(yè)面等等，也??是站長(cháng)不想??讓搜索引擎所收錄的。
所(suo)以(′?ω?`)就有需要??讓網(wǎng)頁(yè)的某些內容，或某些頁(yè)面不被搜索引擎所收錄。
下面筆者先介紹一下較為有效的幾種方法：
1.在FLASH展示不想被收錄的?內容
眾所周知，搜索引擎對FLASH的內容抓取能力有限，不能完全抓取所有FLASH內的所有內容。但遺憾的是，也不能完全保證FLA??SH的所有內容都不會(huì )被抓取。因為谷歌和Adobe正努力的實(shí)現FLASH抓取技術(shù)。
2.使用robos文件
這是暫時(shí)最有效的方法，但有個(gè)很大的缺點(diǎn)。就是不傳出任何的內容及鏈接。大家知道，在SEO來(lái)說(shuō)比較健康的頁(yè)面應該是有進(jìn)有出的(′?｀)。有外鏈的鏈入，同時(shí)(shi)也頁(yè)面內也需要有鏈到外部網(wǎng)站的鏈接，所以robots文件控制，讓此頁(yè)面只進(jìn)不出，搜索引擎也不知道內容是什么。會(huì )??把此頁(yè)(′?｀)定為低質(zhì)量頁(yè)面。權重有可能受一定的懲罰。這個(gè)多用于網(wǎng)站管理頁(yè)面，測試頁(yè)面等。
3.使用nofollow標簽包裹不想被收錄的內容
這個(gè)方法(fa)也(ye)不能完全保證不被收錄，因為這并不是嚴格要求遵守的標簽。另外(′?ω?`)，如果有外部網(wǎng)站鏈向了有nofollow標簽的頁(yè)面。這樣就很有可能會(huì )被搜索引擎抓取。
4.用Meta Noinde??x標簽加上follow標簽
這個(gè)方法可以做到防止┐(′д｀)┌收錄而且還能傳遞出權重。要不要傳遞，看網(wǎng)站建設站長(cháng)自己的需要。這個(gè)方法的缺點(diǎn)是，也是會(huì )較大的浪費蜘蛛的抓取頁(yè)面時(shí)間。
5.用robots文件的同時(shí)在頁(yè)面上使用i??frame標簽展示需要搜ヽ(′?｀)ノ索引擎收錄的內容robots文件可以阻止ifra??me標簽??以(yi)外的內容被收錄 。所以，可以把不想收錄的內容放到正常頁(yè)面??標簽下。而想被收錄的內容放在iframe標簽內。
緊接著(zhù)，再說(shuō)一下已經(jīng)失效的方法，大家以后不要用這些方法了。
1.使用表格
谷歌和百度早已經(jīng)能抓取表格用的內容了，無(wú)法阻止收錄。
以現在的技術(shù)來(lái)說(shuō)，Aj??ax和javascript現在的最終運算的結(jie)果還是以HTML的形式傳給瀏覽器以作顯示，所以這同樣無(wú)(wu)法阻止收錄。
初學(xué)者大多著(zhù)眼于如何收錄，但細節決定成敗。怎么讓網(wǎng)站頁(yè)面內容不被抓取也是SEO進(jìn)階人士需要注意的。謝謝閱讀，希望能幫到大家，請繼續關(guān)注腳本之家，我們會(huì )努力分享更多優(yōu)秀的文章。
