GEO 日報|2026.11.18|AI 訪客怎麼認?AI 訪客通行新指引

Google 新增 Google-Agent 通行指引。AI 訪客須核實來源,首頁成功後仍可能卡在搜尋與驗證碼;整理 AI 訪客查核線索,交給維護者排錯。

AI 訪客是代替使用者瀏覽網站、取得資訊或執行動作的 AI 代理。本篇聚焦 Google-Agent:它由 Google 基礎設施承載,依使用者請求造訪網站。想讓這類訪客正常查商品或找預約資訊,站長要先核實來源,再找出防護服務攔住哪一步。

Google 在 11 月 17 日新增「Allow Google-Agent traffic」技術指引,說明如何辨認與允許這類請求。Google 文件更新紀錄也顯示,Google-Agent 早在 3 月 20 日就已列入使用者觸發擷取程式;這回新增的是網站通行說明。

以下會先說明 AI 訪客與搜尋爬蟲的差異,再解釋 Google-Agent 的身分驗證、進站後仍可能卡住的環節,以及站長可交給網站維護者的具體紀錄。

這次更新如何影響 AI 訪客通行?

有些網站會在入口使用內容傳遞網路(CDN)、網站應用程式防火牆(WAF)或機器人偵測服務,先檢查請求再交給網站。這些服務可能顯示驗證碼、執行瀏覽器挑戰,或直接擋下自動化流量。Google 這份指引處理的,就是合法代理也被這層檢查攔住的情況。

AI 訪客與 Googlebot 的任務不同

Googlebot 負責 Google 搜尋的網頁爬取;Google-Agent 則依使用者委託瀏覽和操作。Google 的使用者觸發擷取程式文件說明,這類請求一般會忽略 robots.txt 規則。因此,管理 AI 訪客時還要看網站入口與實際權限控制。

通行與帳戶權限是兩道不同檢查。辨認出 Google-Agent,仍須保留登入驗證、私有區權限及原有業務限制。這份文件只處理網站存取;由此推論搜尋排名提高、獲得 AI 引用、訓練用途或成交結果,都超出了文件提供的證據。


Google-Agent 的 AI 訪客身分要怎麼驗?

依Google 通行指引,網站維護者可先查看防護供應商是否已有驗證 Google-Agent 的機制。若需自行核實,請求的 User-Agent 標頭須含有 Google-Agent,來源 IP 也須落在官方 user-triggered-agents.json 公布的範圍。兩項應一起確認。

User-Agent 是請求附帶的身分字串,可能遭到偽造;只在紀錄裡搜到 Google-Agent,證據仍不足。桌機與手機的完整字串排列也不同,判斷重點是官方標記與來源核對,而非照抄某一整串文字。IP 範圍會更新,維護者應使用官方最新資料。

AI 訪客簽章仍在實驗階段

Google 也在實驗 Web Bot Auth,讓參與請求帶有可驗證的簽章。維護者看到 Signature-Agent 指向 https://agent.bot.goog 時,還須依規格驗證 Signature 與 Signature-Input;標頭名稱本身並非驗簽成功的證明。

實驗中的參與請求才帶有這組簽章;未帶簽章的 AI 訪客仍需依其他官方訊號驗證,單憑缺少簽章就判定冒牌並不充分。Google 建議讓已驗證的 Google-Agent 略過特定機器人挑戰,其他登入、權限與安全控制照常保留,具體規則交由維護者核實。


AI 訪客進得了首頁,為何仍卡住?

Google 的排錯說明涵蓋六個環節,可依下列三個位置查找。PPC Land 對這份新指引的報導也整理了相同問題。對站長而言,最有用的線索是「哪個動作開始失敗」,而非只有首頁是否打得開。


入口:規則順序與互動挑戰

維護者要查已驗證訪客的規則,是否被更早執行的雲端來源封鎖、機器人規則或整類 AI 代理政策蓋過。即使 HTTP 封鎖已解除,JavaScript 挑戰、搜尋框或表單內的 CAPTCHA 驗證碼,也可能繼續攔住 AI 訪客。


途中:搜尋與資料端點

首頁回傳 HTTP 200,只表示伺服器回傳成功狀態;仍要看實際內容是否為挑戰頁。AI 訪客接著搜尋、篩選或開啟商品詳情時,頁面背後可能另發 XHR、GraphQL 或 API 請求。這些是頁面向伺服器取資料的通道,可能套用另一組防護。Google 也列出加入購物車、預約等流程,提醒維護者逐段檢查;站長初步查核可先使用公開查詢。

例如,商品清單開得出來,按下「只看有貨」後卻停在驗證畫面,應把篩選動作與當時回應一起交給維護者。這樣可優先查篩選用的資料端點,保留網站其他部分的防護。


資料:共享 IP、更新與代理轉送

多位使用者的請求可能共用 Google 出口 IP,使依單一 IP 計算的限速提早觸發。維護者須根據已驗證流量及實況評估,沒有適用所有網站的通用門檻。此外,過期的 IP 範圍,或中間代理未保留原始 IP、User-Agent 與簽章標頭,都會影響 AI 訪客驗證。


站長今天可做的 AI 訪客查核

建議先整理一筆可重現的事件,交給網站維護者比對防護紀錄。AI 訪客卡在搜尋框與卡在首頁,維護者需要查看的端點和規則可能不同;描述動作比單說「AI 被擋」更容易定位。可保留:

  • 發生時間與時區、公開頁面網址。
  • 進行的動作,例如開啟頁面、搜尋商品或切換篩選。
  • 回應狀態碼、挑戰頁訊息,以及 CDN 或防護服務的規則事件 ID。
  • 第一個成功步驟與接著失敗的步驟,方便查找對應請求。

紀錄只留排錯所需資料,排除 Cookie、登入憑證、授權標頭與客戶表單內容。若要重現,限於自家網站可回復的公開查詢動作,保留原安全設定;涉及下單、付款或真正提交預約的步驟,交由維護者另訂測試方式。

維護者核實 AI 訪客來源與命中規則後,再檢查公開頁面及後續查詢是否都成功。完成證明應包含原本失敗步驟的結果,以及登入與權限限制仍正常運作;只看首頁狀態碼,還不足以結案。


結語:先驗證 AI 訪客,再查卡點

這次新指引讓站長多了一份排錯依據:先核實 Google-Agent 身分,再沿著入口、操作途中與規則資料找問題。讓已驗證的 AI 訪客正常查詢,同時保留原有安全與業務控制,才是這份通行文件能支持的實際下一步。

重點整理

AI 訪客的 User-Agent 寫著 Google-Agent,就可以信任嗎?

User-Agent 可遭偽造。Google 指引要求核對 Google-Agent 標記與官方 IP 範圍;也可使用防護供應商提供的可驗證機制。有提供簽章時,還須依 Web Bot Auth 規格核驗。

AI 訪客沒有 Web Bot Auth 簽章,就是冒牌嗎?

Google 的 Web Bot Auth 仍在實驗,參與請求才帶有簽章。缺少簽章本身不足以判定冒牌,維護者仍須核對 Google-Agent 的其他官方身分訊號;出現簽章標頭時也要實際驗簽。

首頁回傳 200,代表 AI 訪客已能完成查詢嗎?

HTTP 200 表示伺服器回傳成功狀態,實際內容仍可能是防護挑戰頁。搜尋、篩選與商品詳情也可能另用 API 取資料,或在途中遇到驗證碼;應檢查頁面內容及原本失敗的公開查詢步驟。

robots.txt 可以管理這類 AI 訪客的存取嗎?

Google 把 Google-Agent 列為使用者觸發擷取程式,這類請求一般忽略 robots.txt。實際存取仍須由網站入口、登入與權限控制管理;Google-Agent 通行也不代表取得私有區權限。