跳到主要內容
  1. 首頁
  2. 知識專欄
  3. 網頁製作
  4. 為什麼 ChatGPT 找不到我的網站?robots、Cloudflare 擋 AI 爬蟲等 6 個常見原因與檢查方法

為什麼 ChatGPT 找不到我的網站?robots、Cloudflare 擋 AI 爬蟲等 6 個常見原因與檢查方法

ChatGPT 找不到你的網站,常見原因是 robots.txt 禁止搜尋用 AI 爬蟲、Cloudflare 等防火牆擋掉 AI 爬蟲、網站被設成不收錄、文字要靠程式才出現。本文整理 6 個原因、Cloudflare 的檢查路徑、10 分鐘自我檢查清單,以及怎麼從主機紀錄驗證,並說明沒有人能保證一定被引用。

2026.11.17閱讀約 17 分鐘11
為什麼 ChatGPT 找不到我的網站?robots、Cloudflare 擋 AI 爬蟲等 6 個常見原因與檢查方法

重點整理

  • OpenAI 的 OAI-SearchBot(ChatGPT 搜尋)、GPTBot(訓練)、ChatGPT-User(使用者觸發)是三種獨立設定的爬蟲,可以放行搜尋、同時禁止訓練。
  • robots.txt 寫得乾淨仍看不到時,常是防火牆在門口擋掉爬蟲,爬蟲根本到不了 robots.txt。
  • Cloudflare 官方公告說明 Googlebot、Bingbot、Applebot 屬多用途爬蟲,選擇封鎖 Training 時會被一起擋掉;預設值兩份官方資料說法不一,要以後台實際設定為準。
  • 在瀏覽器「檢視網頁原始碼」找得到頁面文字,機器才讀得到;WordPress 的「不建議搜尋引擎索引」勾選也要確認沒勾。
  • 統計 AI 爬蟲要排除 404 並比對官方公布的 IP,掃描程式常冒用 ChatGPT-User、GPTBot 名稱;全部放行後也沒有人能保證被引用。
文章目錄
  1. 先分清楚:「看不到」其實有三種情況
  2. 先認識 AI 爬蟲:搜尋用、訓練用、使用者觸發是分開的
  3. 6 個常見原因與檢查方法
  4. 動手檢查:10 分鐘自我檢查清單
  5. 改完之後,怎麼知道有沒有生效?
  6. 先檢測,再決定要補哪裡
  7. 常見問題
一句話重點: ChatGPT 找不到你的網站,很多時候不是內容不夠好,而是「門被關上了」:可能是 robots.txt 禁止搜尋用的 AI 爬蟲、Cloudflare 這類防火牆把 AI 爬蟲擋在外面、網站被設成「不要被搜尋引擎收錄」,或是網頁文字必須等程式執行後才會出現。這些問題都可以先自己檢查,花不到半小時。不過要先說清楚:就算全部放行,也沒有人能保證 ChatGPT 一定提到你,我們能做的是先排除阻礙 AI 找到網站的問題。

先分清楚:「看不到」其實有三種情況

老闆說「ChatGPT 看不到我的網站」,實際上可能是三種不同的情況,處理方式也不一樣:

情況白話意思先查哪裡
進不來爬蟲被擋在門外robots.txt、防火牆、Cloudflare
讀不到爬蟲進來了,但看到空白頁網頁原始碼裡有沒有文字
沒被選中讀得到,但 AI 回答時沒引用你內容有沒有直接回答問題

前兩種屬於「技術障礙」,這篇會逐一教你檢查。第三種則是內容問題,可以參考〈GEO 是什麼?讓 ChatGPT、Google AI 摘要提到你的網站要做哪些事〉。

先認識 AI 爬蟲:搜尋用、訓練用、使用者觸發是分開的

很多人一聽到「擋 AI 爬蟲」,就把所有 AI 爬蟲都封鎖,結果連 ChatGPT 搜尋也找不到自己的網站。

以 OpenAI 為例,官方列出三種不同用途的爬蟲,而且各自獨立設定:

爬蟲名稱用途擋掉的後果
OAI-SearchBot讓網站出現在 ChatGPT 的搜尋結果不會出現在 ChatGPT 搜尋回答中
GPTBot蒐集可能用於訓練模型的內容表示不希望內容被拿去訓練
ChatGPT-User使用者在 ChatGPT 裡要求讀某個網頁時才來官方說明 robots.txt 規則可能不適用

資料來源:OpenAI 爬蟲說明。

官方也明確說明,可以允許 OAI-SearchBot,同時禁止 GPTBot。修改 robots.txt 之後,搜尋系統約需 24 小時反映。

其他 AI 業者也有類似的區分方式:

  • Anthropic(Claude):ClaudeBot 蒐集可能用於訓練的內容;Claude-User 在使用者提問時讀取網頁;Claude-SearchBot 則為搜尋結果建立索引。官方說明,這些爬蟲都遵守 robots.txt,並建議透過 robots.txt 設定,而不是直接封鎖 IP。詳見〈Anthropic 爬蟲說明〉。
  • Perplexity:PerplexityBot 用來讓網站出現在搜尋結果中,官方說明它不會用於訓練基礎模型;Perplexity-User 則由使用者觸發,一般會忽略 robots.txt。詳見〈Perplexity 爬蟲說明〉。
  • Google:Google AI 摘要使用的是一般 Google 搜尋索引。官方說明,只要頁面「已被收錄、且可以在搜尋結果顯示摘要」,就符合條件,沒有額外的特殊要求。詳見〈Google 的 AI 功能說明〉。

重點:如果不希望內容被拿去訓練,就只封鎖訓練用的爬蟲;如果希望被 AI 搜尋找到,搜尋用的爬蟲就一定要放行。

6 個常見原因與檢查方法

1. robots.txt 把 AI 爬蟲全部禁止了

robots.txt 是放在網站根目錄的文字檔,網址通常是「你的網址/robots.txt」。

你可以直接用瀏覽器打開,看看裡面有沒有這樣的內容:

User-agent: *
Disallow: /

這兩行的意思是「所有爬蟲都不准進來」,連 Google 也被擋住。

這種設定常見於網站剛做好、還在測試的階段。當時為了避免網站被搜尋引擎收錄,先把爬蟲擋掉,卻在正式上線後忘記拿掉。

另一種情況是只封鎖特定爬蟲:

User-agent: OAI-SearchBot
Disallow: /

如果 robots.txt 裡明確禁止 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot,對應的 AI 搜尋就不會收錄你的網站。

這裡要提醒兩件事:

  • robots.txt 是一種「請求」,不是把網站鎖起來。Google 官方也說,它是用來管理爬蟲流量的,不是用來把頁面藏起來的機制。
  • 如果真的不希望頁面被搜尋引擎收錄,正確做法是使用 noindex 或密碼保護,而不是只靠 robots.txt。

2. 防火牆或 Cloudflare 把 AI 爬蟲擋在外面

這是robots.txt 明明沒有禁止爬蟲,ChatGPT 卻還是找不到網站的常見原因。

robots.txt 只是告訴爬蟲「哪些地方不要進來」,防火牆卻是直接在門口攔截。當防火牆把 AI 爬蟲擋掉時,爬蟲甚至連 robots.txt 都讀不到。

其中,Cloudflare 的設定特別值得留意:

  • 2025 年 7 月 1 日,Cloudflare 在官方部落格宣布,預設改為封鎖 AI 爬蟲,除非對方付費給內容創作者。詳見〈Cloudflare 官方公告〉。
  • 2026 年 7 月 1 日,Cloudflare 再次公告,讓所有客戶(包含免費方案)都能依照爬蟲行為,分別設定搜尋(Search)、代理(Agent)、訓練(Training)三種類別。公告指出,新的預設值從 2026 年 9 月 15 日起生效,新加入的網域會在「有廣告的頁面」預設封鎖訓練與代理,搜尋則維持放行。詳見〈Cloudflare 官方公告〉。
  • 不過,Cloudflare 的開發者文件目前寫的是「新網域三項預設都不封鎖」。兩份官方資料的說法不一致,因此請以你後台實際顯示的設定為準。
  • Cloudflare 公告也提醒,Googlebot、Bingbot、Applebot 這類「多用途爬蟲」,會依照所有用途一起判斷。如果選擇封鎖訓練,這些搜尋爬蟲也會一起被擋掉,因為系統採用最嚴格的規則。開發者文件同樣指出,訓練的設定會套用到「同時用於搜尋與訓練」的爬蟲。

換句話說,如果封鎖 AI 訓練的設定範圍太廣,可能連 Google 搜尋爬蟲都一起擋掉。

這個影響比單純「ChatGPT 找不到網站」還要嚴重。

Cloudflare 要怎麼檢查

  1. 登入 Cloudflare,選擇你的網站。
  2. 依照官方文件,進入 Security(安全性)→ Settings(設定),篩選 Bot traffic,找到 AI Crawler and Agent access policies。
  3. 查看 Search、Agent、Training 三個項目分別使用哪種設定:

- Block:封鎖整個網站的對應爬蟲。

- Block on pages with ads:只在 Cloudflare 偵測到廣告的頁面封鎖。

- Allow (do not block):不封鎖。

- Disallow:只有訓練這一項提供此選項,透過 robots.txt 請爬蟲不要來。官方說明,robots.txt 屬於自願遵守的規則,爬蟲可以不理會。

  1. 如果希望被 ChatGPT 等 AI 搜尋找到,Search 就要設為不封鎖。
  2. 如果 Training 設成封鎖,還要確認 Googlebot、Bingbot 是否受到連帶影響(檢查方法見下面「怎麼驗證」)。

官方文件:AI Crawler and Agent access policies。

由於 Cloudflare 後台的選項名稱與預設值可能調整,實際畫面與預設值仍以 Cloudflare 官方當下的說明為準。

其他防火牆也要看

不只有 Cloudflare 會擋 AI 爬蟲。

主機商提供的安全防護、WordPress 資安外掛,以及網站防火牆(WAF)的「機器人防護」功能,都可能把不認識的爬蟲當成惡意流量,直接封鎖。

如果你不確定網站有沒有設定這些功能,可以直接詢問網站廠商或主機商:

「我們的網站有沒有針對機器人流量設定封鎖?OAI-SearchBot 和 Googlebot 能不能正常通過?」

3. 網站被設成「不要被搜尋引擎收錄」

WordPress 後台的「設定 → 閱讀」中,有一個「搜尋引擎可見度」的勾選項目。

英文介面顯示為 Discourage search engines from indexing this site,中文介面的文字可能因版本不同而略有差異。

根據 WordPress 官方文件,勾選這個項目後,系統會在網頁加上 noindex 標籤,要求搜尋引擎不要收錄。詳見〈WordPress 官方說明〉。

這種情況經常發生在網站改版、搬家,或是把測試站轉成正式網站的時候。

原本測試階段不希望被收錄,正式上線後卻忘了取消勾選,而且網站表面上看起來完全正常,自己很難察覺。

檢查方式:在網頁上按右鍵,選擇「檢視網頁原始碼」,再用搜尋功能尋找 `noindex`。如果找到了,而且不是你刻意設定的,就需要處理。

4. 內容要靠程式執行才會出現

有些網站的文字內容,必須等瀏覽器執行完程式後才會顯示。

一般人用瀏覽器開啟網站,看起來完全正常,但 AI 爬蟲不一定會執行這些程式,結果可能只抓到一個沒有內容的空殼。

檢查方式很簡單:

  1. 在你的網頁上按右鍵,選擇「檢視網頁原始碼」(注意,不是「檢查」)。
  2. 使用搜尋功能,尋找頁面上實際看得到的一句話,例如服務介紹或公司地址。
  3. 找得到,機器才讀得到;找不到,就是這一類問題。

這種情況常見於整個網站都採用純前端畫面的架構。

要徹底解決,通常需要調整成由伺服器端先產生內容的方式,而不是修改幾個設定就能處理。

5. 網站根本沒被搜尋引擎收錄

前面提過,Google 官方說明,頁面要出現在 AI 摘要中,必須符合「已被收錄、且可以顯示摘要」的條件。

官方也提醒,即使符合條件,也不代表頁面一定會被收錄或顯示。

至於 ChatGPT 等其他 AI 搜尋服務,各家的資料來源與處理方式不同,官方也沒有全部公開。

但可以確定的是:如果連 Google 都收錄不到你的網站,被 AI 找到的機會也低。

檢查方式:

  • 在 Google 搜尋框輸入 `site:你的網址`,看看出現多少個頁面。如果完全沒有結果,就是沒有被收錄。
  • 申請 Google Search Console,使用「網址檢查」功能,查看單一頁面的收錄狀態。

6. 內容太薄、沒有直接答案

如果網站的技術問題都排除了,AI 卻還是不提到你,就要回頭檢查網站內容。

常見的情況包括:

  • 首頁只有形象口號,卻沒有清楚說明公司提供什麼服務、位在哪裡、怎麼收費。
  • 價格只寫「依需求報價」,沒有提供任何範圍。
  • 公司名稱、地址、電話,在網站、Google 商家及社群上的寫法不一致。

這類問題不是「AI 被擋住」,而是網站沒有提供足夠、可以直接引用的答案。

具體怎麼改善,可以參考〈GEO 是什麼〉中的 7 項檢查。

動手檢查:10 分鐘自我檢查清單

如果想知道自己的網站有沒有上述問題,可以照著以下順序檢查,每一步都不需要寫程式:

  1. 打開 robots.txt:在瀏覽器輸入「你的網址/robots.txt」,確認有沒有 `Disallow: /`,或明確禁止 AI 爬蟲的名稱。
  2. 檢查網頁原始碼有沒有 noindex:如果找到了,就要確認並處理。
  3. 確認原始碼能不能找到頁面文字:如果找不到,代表內容需要靠程式執行後才會顯示。
  4. 用 `site:` 查收錄:確認網站有沒有被 Google 收錄。
  5. 如果有使用 Cloudflare:依照前面介紹的路徑,檢查 Search、Agent、Training 三項設定。
  6. 詢問網站廠商或主機商:確認網站有沒有開啟機器人防護功能。
  7. 用免費工具跑一次:打開〈免費 AI 搜尋檢測〉,貼上網站網址,工具會從「抓得到、看得懂、願意引用」三個面向,列出需要補強的項目。

想更確定,可以請廠商用主機紀錄查

如果想進一步確認 AI 爬蟲到底有沒有進入網站,最準確的證據就是主機的存取紀錄。

可以請網站廠商或主機商查看 OAI-SearchBot、Googlebot 有沒有造訪過網站,以及造訪時主機回傳的是 200(成功),還是 403(被拒絕)。

不過,檢查紀錄時要特別注意兩個陷阱:

  • 要排除 404 的紀錄。 有些掃描程式會冒用 ChatGPT-User、GPTBot 等爬蟲名稱,嘗試存取網站的敏感檔案。這類請求通常會得到 404,並不是真正的 AI 爬蟲。
  • 要比對來源 IP。 OpenAI、Anthropic、Perplexity 都有公開爬蟲使用的 IP 清單,例如 OpenAI 的 OAI-SearchBot 清單、Anthropic 的清單、PerplexityBot 清單。如果爬蟲名稱符合,但來源 IP 對不上,就是假冒的。

改完之後,怎麼知道有沒有生效?

  • OpenAI 官方說明,搜尋系統約需 24 小時,才會反映 robots.txt 的更新。
  • 爬蟲重新抓取網站、頁面重新被收錄,通常需要數天到數週。
  • 可以透過 Google Search Console、Bing 網站管理員工具追蹤網站的收錄與曝光狀況,也可以從主機存取紀錄確認爬蟲有沒有再次造訪。
  • 也可以模擬客人實際會問的問題,在 ChatGPT、Perplexity 中搜尋,看看 AI 有沒有引用你的網站。不過,這類結果會隨時變動,只能當作參考。

先檢測,再決定要補哪裡

如果還不確定網站的問題出在哪裡,可以先使用〈免費 AI 搜尋檢測〉檢查一次,再把檢測結果交給目前合作的網站廠商處理。

如果檢查後發現問題比較多,不知道該從哪裡開始調整,崴米的〈AI 搜尋優化(GEO/AEO)〉會從爬蟲放行、機器可讀性、結構化資料到回答式內容一起整理,並接上 Search Console 與 Bing 的報表追蹤。

這項服務不保證網站一定會被 AI 引用,而是先把網站能被找到、讀取與理解的基本功做好。

你也可以先申請〈免費網站健檢〉,請我們人工檢查網站狀況。

常見問題

我的網站有被 Google 收錄,為什麼 ChatGPT 還是找不到?

Google 收錄與 ChatGPT 搜尋是不同的系統。

ChatGPT 搜尋使用 OpenAI 自己的搜尋用爬蟲 OAI-SearchBot,因此需要另外確認它有沒有被 robots.txt 或防火牆擋住。

即使已經全部放行,也不代表 AI 一定會引用你的網站。

要不要把 GPTBot 擋掉?

這取決於你是否希望網站內容被用於 AI 模型訓練。

GPTBot 是用來蒐集訓練資料的爬蟲。封鎖 GPTBot,表示不希望網站內容被拿去訓練模型。

根據 OpenAI 官方說明,各種爬蟲的設定互相獨立,因此可以封鎖 GPTBot,同時放行 OAI-SearchBot。

但如果希望網站能被 ChatGPT 搜尋找到,就不能封鎖 OAI-SearchBot。

Cloudflare 一定會擋 AI 爬蟲嗎?

不一定,要看網站實際使用的設定,以及網域的開通時間。

Cloudflare 官方說明,可以分別設定搜尋、代理、訓練三種爬蟲用途,而且預設值也曾經調整過。

建議直接登入 Cloudflare 後台確認,不要只憑印象判斷。

如果有設定封鎖訓練用爬蟲,還要特別確認 Googlebot 有沒有受到連帶影響。

改了設定,多久會有效果?

OpenAI 官方說明,搜尋系統約需 24 小時反映 robots.txt 的更新。

不過,網站重新被爬蟲抓取、收錄,以及最後是否被 AI 引用,是不同的事情。

重新抓取與收錄通常需要數天到數週,而 AI 是否引用、何時引用,則沒有保證。

已經有網站,一定要重做嗎?

不一定。

像是 robots.txt、防火牆設定、noindex 勾選等問題,多半可以直接在現有網站上調整。

只有當網站架構讓機器根本讀不到內容時,才需要進一步討論是否改版。

延伸閱讀

#ChatGPT#AI 爬蟲#robots.txt#Cloudflare

準備好讓你的網站為你帶來更多客戶了嗎?

免費諮詢,專人與您討論需求與建議方案!