Robo(?⊿?)ts.txt 是何有和sO何和分一個(gè)存放在網(wǎng)站根目錄下的文本(/ω\)文件,用于告訴搜索引擎爬蟲(chóng)哪些頁(yè)面可以被抓取、效利析哪些頁(yè)面不??能被抓取。進(jìn)行鍵詞通過(guò)合理設置 Robots.txt,做好可以有效地控制搜索引擎爬蟲(chóng)的挖掘行為,從而提高網(wǎng)站的 SEO 效果。