robots.txt文件應該放置在網(wǎng)站根目錄下。什意思舉例來(lái)說(shuō)，文件當spider訪(fǎng)問(wèn)一個(gè)網(wǎng)站??(比如 http://www.abc.com)時(shí)，放里首先會(huì )檢查該網(wǎng)站??中是協(xié)議否存在htt(′?｀*)p://www.abc.com/robots??.txt這個(gè)文件，如果 Spider找到這個(gè)文件，什意思它就會(huì )根據這個(gè)文件的文件內容，來(lái)確定它訪(fǎng)問(wèn)權限的范圍。