抓取錯誤(Crawl Error)是什麼?|SEO・GEO 百科

抓取錯誤(Crawl Error)是搜尋引擎爬蟲想造訪網頁卻讀取失敗的統稱,常見有伺服器錯誤、404、軟性 404 與 robots.txt 封鎖。本文說明常見類型、排查工具,以及抓取錯誤和索引錯誤的差別。

抓取錯誤(Crawl Error)是指搜尋引擎的爬蟲(例如 Googlebot)想造訪你的網頁,卻因為某些原因讀取失敗,講白一點,就是 Google 想看你的頁面,但「打不開」或「找不到」。

這篇文章會用新手角度說明抓取錯誤是什麼、為什麼會發生、常見有哪些類型、要去哪裡看,以及一個很多人搞混的重點——抓取錯誤和索引錯誤其實是兩回事。

重點速覽

  • 抓取錯誤發生在「檢索(Crawling)」階段,是爬蟲讀取失敗,不是收不收錄的問題
  • 分成網站層級(全站連不上)與網址層級(單頁問題)兩大類,處理優先順序不同
  • 抓取錯誤不等於索引錯誤,也不代表網站被 Google 懲罰

抓取錯誤是什麼?

Google 官方把搜尋的運作拆成三個階段:檢索(Crawling)、索引(Indexing)、提供結果(Serving)。

抓取錯誤發生在第一階段「檢索」:Googlebot 嘗試連到你的網址、下載頁面內容,但這個過程失敗了。

傳統上會把抓取錯誤分成兩大類:

  • 網站層級錯誤(Site errors):整個網站連不上,例如 DNS 解析失敗、伺服器沒回應、連 robots.txt 都抓不到。影響範圍是「全站」,最該優先處理。
  • 網址層級錯誤(URL errors):個別頁面有問題,例如某一頁回傳 404、伺服器 5xx、或被 robots.txt 擋住。影響範圍通常只有「那一頁」。

要特別提醒:Google 在 2019 年已經把舊版 Search Console 裡的「檢索錯誤報表(Crawl Errors report)」下架了。

相關資訊現在分散在「網頁索引報表」「檢索統計資料報表」與「網址審查工具」裡。

所以「抓取錯誤」如今比較像一個概念性的統稱,而不是某一張固定的報表,實際介面與名稱請以官方最新資訊為準。


用白話文怎麼說?

你可以把 Googlebot 想成一位到處按門鈴的郵差,他的任務是把你家(網頁)的內容收進 Google 的大資料庫。

抓取錯誤,就是郵差按了門鈴卻進不來:可能是這個地址根本不存在(404)、可能是你家門口貼了「禁止進入」(被 robots.txt 封鎖)、也可能是整棟大樓臨時停電了(伺服器掛掉)。

郵差進不來,你的內容自然就沒辦法被收錄、被搜尋到。所以抓取錯誤的本質很單純:Google 連「讀到」你的頁面這一步都還沒完成。


抓取錯誤有哪些常見類型?

下面這張表整理了新手最常遇到的幾種抓取錯誤,先看懂它們在說什麼:

類型白話意思常見原因
伺服器錯誤(5xx)伺服器當掉或太忙,Googlebot 連不上主機過載、程式出錯、暫時性中斷
找不到(404)這個網址不存在頁面被刪、網址打錯、內部連結失效
軟性 404(Soft 404)頁面其實是空的或顯示「找不到」,卻回傳「成功(200)」內容遺失、模板出錯、空白的站內搜尋結果頁
被 robots.txt 封鎖你自己設定不讓 Google 爬robots.txt 規則誤擋了重要頁
轉址錯誤轉址設定壞掉或繞太多圈轉址鏈過長、無限迴圈
無法連線(DNS/主機)連網站的「門牌系統」都找不到網域到期、DNS 設定錯誤、主機停擺

新手實際上要去哪裡查?主要靠 Google Search Console 的三個工具:

  • 網頁索引報表(Page Indexing report):看「為什麼某些頁面沒被收錄」,會列出伺服器錯誤、找不到、軟性 404 等具體原因。
  • 檢索統計資料報表(Crawl Stats report):看 Googlebot 最近的造訪紀錄,以及主機有沒有可用性(availability)問題。
  • 網址審查工具(URL Inspection Tool):單獨檢查某一個網址,看 Google 實際拿到什麼狀態碼、讀到什麼內容。

處理原則也很直覺,可以這樣記:

  • 頁面真的不存在了 → 讓它正確回傳 404410
  • 頁面搬家了 → 用 301 轉址指到新位置。
  • 伺服器常常掛 → 找主機商或工程師看負載與穩定度。
  • 不小心擋到重要頁 → 修正 robots.txt 規則。

關於抓取錯誤的常見迷思

迷思一:有抓取錯誤就代表網站被懲罰、排名會掉

不一定。網址層級的錯誤通常只影響「那一頁」,不會牽連全站。

Google 也說明過,頁面回傳 404 本身不是壞事,更不會因此處罰你的網站;真正要警覺的是「網站層級」的持續性錯誤,例如伺服器長期連不上、DNS 一直解析失敗。

迷思二:所有 404 都要清到零

不需要。你刻意刪掉的舊頁面,本來就「應該」回傳 404,這是正確行為,不是 bug。

需要修的是那種「不該死掉卻死掉」的頁面,例如還有內部連結指過去、或使用者還在找的重要頁。

迷思三:抓取錯誤就等於索引錯誤

這是最常見的混淆。檢索(crawl)是「Google 能不能讀到你的頁面」;索引(index)是「讀到之後,要不要把它收進資料庫」。

Google 官方文件特別提醒這兩件事不一樣:一個頁面可能被成功抓取,卻因為內容價值不足而沒被索引;也可能因為抓取就失敗,根本還沒走到索引那一步。

迷思四:Search Console 裡還有一張「檢索錯誤報表」可以看

舊版的「檢索錯誤報表」在 2019 年就退場了。現在要看相關資訊,請改用網頁索引報表、檢索統計資料報表與網址審查工具,它們提供的細節其實比舊報表更清楚。


總結

如果只記一句話:抓取錯誤就是「Google 連讀到你的頁面都失敗了」。

新手可以記住三件事。

  • 第一,先分清楚這是網站層級(全站連不上,要優先處理)還是網址層級(單頁問題)。
  • 第二,用網頁索引報表、檢索統計資料與網址審查工具找出原因,再對症下藥——該回 404 的回 404,搬家的用 301,伺服器不穩就顧好主機。
  • 第三,抓取錯誤不等於索引錯誤,也不等於被懲罰,弄懂這層差別,就不會被一堆紅字嚇到。

參考資料