創(chuàng )建 `robo(′?｀*)ts.txt` 文件?

在網(wǎng)站根目錄下??創(chuàng )建一個(gè)名為 `robots.txt` 的告搜文件（無(wú)文件擴展名）。

配置規則

禁止所有搜索引擎??訪(fǎng)問(wèn)：

```

User-agent: *

Disallow: /

```

允許特定搜索引??擎訪(fǎng)問(wèn)特定目錄：

``(╯°□°）╯`

User-agent: Googlebo??t

Disallow: /admin/

```

注意：需在 HTTP 響應頭中包含 `robots.txt`，索引索引且建議對敏感目錄（如 `/admin/`）單獨配??置。擎禁擎訪(fǎng)

二、止搜服務(wù)器端配置

IP黑名單（推薦）

通過(guò)服務(wù)器管理工具（如 cPanel）將搜索引擎IP段（如Google的(de)無(wú)廣問(wèn)域74.125.0.0/1??6）添加到黑(??-)?名(ming)單，可有效阻止訪(fǎng)問(wèn)且不消耗帶寬。告搜

Nginx 配置

禁止特定IP訪(fǎng)問(wèn)：

```nginx

deny 74.125.0.0/16;

```

禁止特定端口（如FTP端口21）：

```nginx

location /ftp {

deny al??l;

}

```

禁止所有爬蟲(chóng)：

```nginx

location / {

if (-f $http_user_age(?????)nt) {

deny all;

}

}

```

其他服務(wù)器軟件

Apache 可通過(guò) `.hta??ccess` 文件或配置文件設置IP黑名單或目錄限制。索引索引

三、擎禁擎訪(fǎng)代碼級防護

Meta 標簽

在 HTML 頭部添加：

```html

nofollow" />

```

適用于臨時(shí)禁止搜索引擎收錄，但效果有限。無(wú)廣問(wèn)ヾ(＾-＾)ノ域

X-Robots-Tag 頭

通過(guò)服務(wù)器響應頭添加：

```http

X-Robots-Tag: noindex,告搜nofollow

```

需配合服務(wù)器(qi)配置生效。

四、索引索引其他注意事項

動(dòng)態(tài)IP防護：

若使用動(dòng)態(tài)IP，擎禁擎訪(fǎng)建??議結合第三方服務(wù)獲取實(shí)時(shí)IP段。止搜

定期更新：搜索引擎可能更新爬蟲(chóng)標識（如User-agent），需定期檢查。

測試驗證：配置后建議使用 [robots.txt 測試工具](http://tool.chinaz.com/robots/) 驗證效果。

通過(guò)以上方法，可靈活選擇適合的場(chǎng)景進(jìn)行配置，確保網(wǎng)站數據安全。