檢索預算(Crawl Budget)是什麼?|SEO・GEO 百科

檢索預算(Crawl Budget)是 Google 願意花在爬你網站上的時間與資源。多數小網站不用擔心,但大型網站要懂得管理。說明爬取容量、爬取需求,以及與 AI 爬蟲之間的關係。

檢索預算(Crawl Budget)指的是 Google 願意花在爬你網站上的時間與資源,說白一點,就是「Googlebot 在一段時間內,大概會來爬你幾個頁面」。

對大多數小網站來說,這件事其實不太需要擔心;但網站一旦很大、更新又很頻繁,它就會變成一個值得管理的問題。

重點速覽

  • 由「爬取容量」(伺服器能承受多少)與「爬取需求」(Google 有多想爬)兩個因素共同決定。
  • Google 官方說得很清楚:多數小網站根本不用擔心檢索預算,先把內容顧好比較重要。
  • 檢索本身不是排名訊號,優化檢索預算不會直接讓排名變好。

檢索預算是什麼?

依 Google 官方說法,檢索預算可以理解成「Google 願意且能夠爬取的網址範圍」,也就是 Google 投入在檢索(crawling)這件事上的時間與資源總量。Google 把它拆成兩個關鍵因素來看。

  • 爬取容量上限(crawl capacity limit):Googlebot 一次能對你的伺服器開多少條連線、每次抓取之間要間隔多久。它會看你的伺服器「健不健康」動態調整——網站回應快又穩,上限就往上調,Google 就多爬一點;伺服器變慢、一直回傳錯誤,上限就往下降,Google 就少爬一點。
  • 爬取需求(crawl demand):Google 到底「有多想」爬你的網站。越熱門、越多人搜尋、或越常更新的頁面,Google 就越想常常回來看一眼,好讓索引保持新鮮。

關鍵觀念是:就算你的伺服器很有餘力(容量沒用完),只要 Google 對你的內容需求不高,它也不會硬要多爬。兩個因素一起,決定了 Googlebot 實際會爬你多少頁。

Google 也特別強調:大多數網站根本不用煩惱檢索預算。

如果你的新頁面通常當天發佈、當天就被爬到,或整站只有幾千個網址,Google 通常都能順利爬完。

真正需要管理的,是「中型以上」的網站。


用白話文怎麼說?

你可以把 Googlebot 想成一位時間有限的清點員,每天只能花固定幾小時來逛你的店。

如果你的店只有一個小櫃台(小網站),他三兩下就清點完,綽綽有餘,你完全不用操心。

但如果你開的是一間有上百萬件商品的大賣場(大型網站),他一天根本逛不完,這時「他把時間花在哪些貨架上」就變得很重要。

爬取容量就像「他願意走多快」——你的走道越順暢(伺服器越快),他就走得越快、看得越多;走道一塞車(伺服器一卡),他就放慢腳步免得出事。

爬取需求則像「他覺得哪些貨架值得多看」——熱賣、常換新貨的區域,他自然來得勤;長年沒人理、也沒換過貨的角落,他就懶得每天報到。

所以你可以這樣記:檢索預算不是「Google 欠你多少」,而是「Google 在有限時間裡,願意花多少心力逛你家」。


檢索預算實際上要做什麼?

先講最重要的一句:如果你的網站不大、更新也不頻繁,你幾乎不用為檢索預算做任何事,把時間拿去顧內容品質更划算。

但如果你經營的是電商、新聞、大型論壇這類「頁面成千上萬、又天天更新」的網站,可以從這幾個方向,幫 Googlebot 把力氣花在刀口上:

  • 整理你的網址清單:用 robots.txt 擋掉那些對搜尋沒意義的頁面(例如無限的篩選排序組合、站內搜尋結果頁),別讓爬蟲在這些地方空轉。
  • 處理重複內容:把同樣內容的多個網址收斂成一個代表版本,減少爬蟲重複勞動。
  • 清掉壞頁面:已經移除的頁面就確實回傳 404410,並修掉「假 404」(畫面說找不到、狀態碼卻回 200)。
  • 維護最新的 XML 網站地圖:把重要頁面與更新時間清楚列出,幫 Google 更快發現該爬的東西。
  • 避免長串轉址:一個網址連續跳好幾次 301,會白白消耗爬取資源。
  • 提升伺服器與網頁速度:站點回應越快,Google 在同樣時間內就能爬到越多內容。

你可以這樣記:檢索預算優化的核心,不是「逼 Google 多爬」,而是「別讓 Google 把預算浪費在沒價值的頁面上」。


關於檢索預算的常見迷思

迷思一:優化檢索預算就能讓排名變好

不會,這是最大的誤會。Google 官方明講:檢索本身不是排名訊號。

把爬取速度衝高,並不會直接讓你的頁面排名上升。

爬得到,只是「有機會被收錄」的前提;真正決定排名的,是內容品質與其他排名因素。

迷思二:每個網站都要認真管理檢索預算

不必。Google 說得很清楚,這份指南是給「很大又更新很頻繁」的網站看的。

它把中型網站定義為「超過一萬個獨立頁面、且每天更新」,大型網站則是「超過一百萬個獨立頁面、且至少每週更新一次」。

如果你的小網站新文章當天就被爬到,這題可以直接跳過。

迷思三:把網站做快,是為了「省檢索預算來換排名」

這裡要分清楚因果。把網站做快確實能提升爬取效率,也能改善使用者體驗;但它幫到的是「爬取效率」,不是「排名」本身。

速度與排名之間的關係,是透過使用者體驗等其他途徑發生,而不是「爬得多就排得好」。

迷思四:用 robots.txt 擋掉頁面會傷到檢索預算或排名

適度用 robots.txt 引導爬蟲,其實是健康的管理手段,目的是讓 Googlebot 專心爬你真正想被看到的頁面。

要注意的是:robots.txt 擋的是「爬取」,不是「索引」,用途和 noindex 不一樣,別搞混了。


總結

如果只記一句話:檢索預算就是「Google 在一段時間內,願意花多少時間與資源來爬你的網站」。

新手可以記住三件事。

  • 第一,多數小網站根本不用擔心檢索預算,先把內容顧好。
  • 第二,它由「爬取容量」與「爬取需求」兩個因素決定,伺服器越快、內容越值得,Google 就越願意爬。
  • 第三,優化的重點是「別浪費」——用 robots.txt、處理重複與壞頁面、維護 sitemap,把預算留給真正重要的頁面;但別期待它能直接換來排名。

參考資料