一、除限使用 `robots.txt` 文件
在網(wǎng)站根目錄下創(chuàng )建一個(gè)名為 `robots.txt` 的制引止搜純文本文件（無(wú)需 `.txt` 擴展名）。
添加 `Disallow` 指令
使用 `Disallo(°ロ°) !w` 指令指定需要禁止抓取的擎搜擎目錄路徑。例如，索禁索引禁止所有搜索引擎抓取 `/test/` 目錄：
```plaintext
User-agent: *
Disallow: /test/
```
`User-agent: *` 表示適用于所有搜索引擎爬蟲(chóng)；
`Disall??ow: /test??/` 指定禁止抓取 `/test/` 及其子目錄。樣解
注意事項
該方法僅能阻止搜索引擎抓取，除限無(wú)法完全禁止收錄。制引止搜部分情況下，擎搜擎搜索引擎可能忽略 `robots.txt` 的索禁索引限制；
需確保文件權限設置正確，避免被篡改。樣解
二、除限使用服務(wù)器配置（如 Nginx）
編輯 Nginx 配置文件
在 Nginx 配置文件中添加以下??內容，擎搜擎匹配搜索引擎的索禁索引 `U??ser-agent`：
```nginx
if ($http_user_agent ~* "Bai??d(′；ω；`)uspider|Googl???ebot|Yandex|Sogou|MSNBot") {
return 403;
}
```
這段代碼會(huì )攔截來(lái)自指定爬蟲(chóng)的( ?° ?? ?°)請求，并返回 403 Forbi??dden 狀態(tài)碼，從??而阻止其訪(fǎng)問(wèn)和索引。
重啟 Nginx 服務(wù)
修改配置后，需(╬ ò﹏ó)重啟 Nginx 使規則生效：
```bash
sudo systemctl restart nginx
```
三、其??他補充方法
Meta 標簽（不推薦）： 在 HTML 頭部添加 `` 可阻止單個(gè)頁(yè)面被索引，但無(wú)法阻止其他頁(yè)面或目錄； 登錄驗??證
總結
推薦優(yōu)先??級：個(gè)人網(wǎng)站可優(yōu)先使用 `robots.txt` 配置，商業(yè)或安全要求較高的網(wǎng)站建議結合(╯°□°)╯服務(wù)器配置（如 Nginx）實(shí)現更嚴格的控制；
局限性說(shuō)明：`robots.txt` 無(wú)法完全阻止搜索引擎收錄，且部分爬蟲(chóng)（如百度）可能忽略該文件，需通過(guò)服務(wù)器端限制作為ヾ(′?｀)?(wei)補??充。
通過(guò)以上方ヽ(′ー｀)ノ法，可靈活控制搜索引擎對網(wǎng)站目錄的抓取行為。
Copyright ? 2012-2018 天津九安特機電工程有限公司 版權所有 備案號：
