AI 爬蟲不是一個只能全部放行或全部封鎖的總開關。OpenAI 目前把模型訓練、ChatGPT 搜尋與使用者觸發讀取分成不同代理；網站若把它們寫進同一條規則，可能同時改變內容授權與搜尋可見度。
一份 2026 年 9 月 24 日寫成、9 月 26 日上傳的研究工作稿，分別觀察 GPTBot 與 OAI-SearchBot 的退出決策。結果顯示，兩種 AI 爬蟲對應的流量排名變化並不相同。不過，這仍是新聞網站樣本的工作稿，不能直接套成「封鎖後會少多少訪客」。
這篇日報會分清研究說了什麼、4.3% 不能代表什麼，以及網站今天如何用可回復的方式稽核 AI 爬蟲規則。
新研究為什麼值得看
兩組樣本回答不同問題
Georgia State University 學者 Yu-Kai Lin 的研究工作稿使用每日 robots.txt 快照，辨識新聞網站何時退出 OpenAI 的 AI 爬蟲。GPTBot 的樣本有 492 個網站，OAI-SearchBot 的樣本有 825 個網站。
研究把兩種用途分開估計：退出 GPTBot 代表拒絕潛在的模型訓練使用；退出 OAI-SearchBot 則關係到 ChatGPT 搜尋可否顯示網站內容。工作稿沒有偵測到訓練退出的平均流量排名效果，但內容量較大的網站出現排名惡化；搜尋退出則與流量排名平均惡化 4.3% 有關，效果集中在沒有付費牆、內容量較少的網站。
4.3% 是流量排名，不是少 4.3% 訪客
這裡最容易出現錯誤標題。研究衡量的是網站流量排名，不是 sessions、users、clicks、營收或轉換。獨立報導也特別提醒，4.3% 不能改寫成實際訪客減少 4.3%。
這項結果提供的是「兩種 AI 爬蟲不應混線」的新證據，不是單一網站的預測公式。樣本限於新聞網站，論文仍是 revise and resubmit 的工作稿；產業、內容規模、付費牆與既有流量結構不同，結果都可能不同。
AI 爬蟲要按用途分三層
GPTBot：模型訓練控制
依 OpenAI 官方文件，GPTBot 抓取的內容可能用於讓生成式 AI 基礎模型更有用、更安全。網站封鎖這個 AI 爬蟲，是在表示內容不應用於基礎模型訓練。
這項設定不應自動推論成「網站會從 ChatGPT 搜尋消失」。OpenAI 明確說明 GPTBot 與 OAI-SearchBot 的 robots.txt 設定彼此獨立。研究目前也只說沒有偵測到平均效果，不能因此宣稱 GPTBot 對所有網站都零影響。
OAI-SearchBot：搜尋可見度控制
OAI-SearchBot 是 ChatGPT 搜尋用途的 AI 爬蟲。OpenAI 表示，退出 OAI-SearchBot 的網站不會顯示在 ChatGPT 搜尋答案中，但在某些條件下仍可能只出現標題與導覽連結。
允許 OAI-SearchBot 只代表移除一個技術阻擋，不保證頁面一定被抓取、選為來源、獲得引用或帶回流量。內容品質、查詢相關性、系統選源與當下產品行為仍會影響結果。
ChatGPT-User：使用者觸發讀取
ChatGPT-User 可能在使用者要求 ChatGPT 或 Custom GPT 讀取網頁時出現。官方文件說它不是自動建立搜尋索引的 AI 爬蟲，也不用來決定內容能否出現在搜尋答案。網站看日誌時，不能把三種代理的請求量合成同一個「被 ChatGPT 看見」指標。
網站調整 AI 爬蟲前的四步稽核
- 建立用途表。逐一列出 user-agent、用途、允許路徑、封鎖路徑、規則所在層與負責人。不要只寫「AI bot 全擋」。
- 保存變更前基準。備份 robots.txt、WAF／CDN 規則與伺服器日誌，記下 AI 爬蟲的 HTTP 狀態、路徑與時間。User-Agent 可以被冒用；需要時再核對業者公布的 IP 範圍或 verified-bot 訊號。
- 一次只改一項。先決定要控制訓練、搜尋或使用者觸發存取，再只改對應的 AI 爬蟲。保留原設定與回復方法，避免多層規則同時變動後無法歸因。
- 分層量測。把抓取、答案出現／引用、`utm_source=chatgpt.com` 轉介，以及表單或交易成果分欄記錄。任何一欄上升，都不能代替另外三欄。
先辨認 AI 爬蟲，再改規則
OpenAI 表示，robots.txt 更新後，系統可能需要約 24 小時調整。這是技術設定的參考時間，不是引用或流量成效窗口。網站至少要等規則生效，再用相同日期長度比較，並排除內容更新、活動、搜尋演算法與追蹤設定等同時發生的變化。
| 觀察層 | 可以回答 | 不能直接回答 |
|---|---|---|
| 抓取日誌 | AI 爬蟲是否請求頁面、回應為何 | 是否已被引用 |
| 答案觀測 | 指定提示是否出現品牌或來源 | 所有使用者都看到相同答案 |
| 轉介分析 | 可識別的 ChatGPT 造訪 | 全部 AI 影響或無 referrer 造訪 |
| 站內成果 | 抵達後的表單、註冊或交易 | 成果必然由單一 crawler 規則造成 |
今天能下的結論與不能下的結論
可以確定的是，OpenAI 官方把搜尋、訓練與使用者觸發的 AI 爬蟲分開；新工作稿也觀察到 GPTBot 與 OAI-SearchBot 退出後的平均結果不同。這足以支持網站先做用途分流，而不是把所有代理綁成同一條政策。
目前不能說的是：搜尋退出一定讓任何網站少 4.3% 流量、訓練退出一定沒有代價，或允許 OAI-SearchBot 就能提高 Google 排名、ChatGPT 引用、營收或成交。AI 爬蟲規則只是整個發現與轉換流程中的一層。
結語：把 crawler 決策做成可回復實驗
這次新研究最實用的提醒，是別再把 AI 爬蟲當成單一類別。先確認用途，再保存基準、單點修改、分層量測，網站才有機會知道改動影響的是訓練授權、搜尋可見度，還是只有日誌中的請求量。
研究工作稿仍可能修訂，平台文件也會更新。真正穩妥的做法，是讓每次 AI 爬蟲變更都有日期、規則版本、實際回應與回復方式，而不是用一次測試替未來結果下保證。
常見問題
封鎖 GPTBot 會讓網站從 ChatGPT 搜尋消失嗎？
不應直接這樣推論。OpenAI 把 GPTBot 與搜尋用的 OAI-SearchBot 設為獨立的 AI 爬蟲控制。若目標是排除潛在模型訓練，可針對 GPTBot 設定；搜尋可見度仍要另外檢查 OAI-SearchBot 與實際答案。
允許 OAI-SearchBot 就一定會被 ChatGPT 引用嗎？
不一定。允許這個 AI 爬蟲只是讓頁面具備被自動搜尋抓取的條件之一，不代表系統必定抓取、選源、引用或帶回訪客。仍要用固定提示、答案來源與轉介資料分開觀察。
修改 AI 爬蟲規則後，多久可以判斷效果？
OpenAI 說 robots.txt 更新後，系統可能需要約 24 小時調整；但 24 小時不足以判斷引用或流量。先確認規則已生效，再用較長、同口徑的窗口比較抓取、答案出現、轉介與站內成果。
