一、Cloudflare 9 月 15 日重分 AI 爬蟲權限
新聞概述
Cloudflare 在 7 月 1 日公布新版 AI 爬蟲控制，將於 2026 年 9 月 15 日套用新的預設規則。
這不是今天才宣布的新聞，而是生效日前的操作檢查：新加入 Cloudflare 的網域，預設將依爬蟲用途分流。
在顯示廣告的頁面上，Training 與 Agent 類別預設封鎖，Search 類別預設允許；站主仍可自行調整。
資訊來源
Cloudflare 官方公告說明 Search、Agent、Training 三種用途，以及 9 月 15 日的新網域預設值。
Cloudflare 官方文件列出三種政策：全部封鎖、僅在廣告頁封鎖、全部允許。
Search Engine Journal與 Axios則交叉提醒多用途爬蟲的搜尋風險。
資訊可信度
日期、類別與預設行為可由 Cloudflare 第一方公告及文件互相核對，獨立報導也確認主要機制。
但 Cloudflare 的網路觀測不等於全網；自動判斷廣告頁的完整方法，也沒有在公開文件中詳列。
因此本文只採官方明確的新網域範圍，不把它寫成所有既有網站都會被同一規則強制改動。
事實重點
Search 用於搜尋索引，Agent 用於即時代辦或問答，Training 用於模型訓練；三者可以分別設定。
若同一爬蟲同時屬於多種用途，Cloudflare 會採最嚴格的適用規則，而不是只看最寬鬆的用途。
因此封鎖 Training 時，Googlebot、Applebot、Bingbot 等多用途爬蟲也可能受阻，連帶影響搜尋發現與索引。
舊版 Block AI bots 選項將在 9 月 15 日停用；站主應改到 Security Settings 的 AI bot policies 檢查。
資訊判讀
這代表 GEO 管理不能只看 robots.txt；CDN／WAF 的執行層，可能直接決定驗證爬蟲能否取得頁面。
Content-Signal 表達的是使用偏好，不會直接執行封鎖；真正的存取結果仍要看 AI bot policy。
不過允許爬蟲只代表具備存取條件，不等於一定被引用、排名或帶來流量，也不保證銷售成效。
這次規則也不是全網一律封鎖，更不代表每個既有網站都會在同一天被改成相同設定。
建議行動
今天先截圖留存 Security Settings → Configure AI bot policies，逐一記錄 Search、Agent、Training 的設定。
若仍使用舊版 Block AI bots，應在生效前改成明確的新政策，並確認廣告頁是否符合原本的索引策略。
9 月 15 日後，用已驗證的伺服器日誌、Search Console 檢索與網址檢查交叉驗證，不要只相信可偽造的 UA。
本次新鮮度檢查完成於 2026 年 9 月 14 日；若 Cloudflare 更新預設值，應以最新官方文件為準。
