網路爬蟲（Web Crawler）是一種自動化程式，它會在網路上一頁接著一頁地「發現並下載」網頁內容，再把這些內容交給搜尋引擎整理。
你能在 Google 搜尋到結果，靠的就是它事先把網路爬過一遍。
重點速覽
- 網路爬蟲負責「檢索（Crawling）」，也就是把網頁找回來，不負責決定排名——那是後面索引與排序的工作。
- 爬到不等於被收錄；
robots.txt擋的是爬取，不是索引，兩者常被搞混。 - 現在多了一批 AI 爬蟲（如 GPTBot、ClaudeBot），和 Googlebot 是不同的東西，擋掉不會影響 Google 排名。
網路爬蟲是什麼？
依 Cloudflare 與 Google 官方文件的說法，網路爬蟲是一種自動化軟體，負責「訪問、下載並協助索引」網路上各處的內容。
它有很多別名：spider（蜘蛛）、bot（機器人）、robot、crawler，講的都是同一種東西。
Google 自己的爬蟲就叫做 Googlebot。
更精確地說，「檢索（Crawling）」指的是：搜尋引擎派出爬蟲，去發現新的、或更新過的網頁，並把它們下載回來。
Googlebot 拿到一個網址後，會向該網站的伺服器發出請求、處理伺服器的回應，過程中可能跟隨轉址、處理錯誤，最後把頁面內容交給 Google 的索引系統。
這也對應到 Google 把搜尋拆成的三個階段：檢索（Crawling）、索引（Indexing）、提供結果（Serving）。爬蟲負責的，就是最前面那一步「檢索」。
值得一提的是，Googlebot 其實有行動版與桌機版兩種；因為現在採「行動優先索引」，大多數的檢索都是用行動版爬蟲進行。
用白話文怎麼說？
你可以把網路爬蟲想成一位不眠不休的圖書館實習生。
他的工作是跑遍全世界，把每一本新出版、或剛改版的書都抱回圖書館。
那他怎麼知道有哪些書？很簡單——他沿著手上這本書裡提到的其他書名（也就是網頁裡的「連結」），一路追下去，一本接一本。
要記住的是：這位實習生不負責決定哪本書排第一名（那是「排序」要做的事），他只負責「把書找回來、影印一份存檔」。
所以爬蟲做的，是把內容「搬回家」，而不是「打分數」。
網路爬蟲跟你的網站有什麼關係？
關係非常直接：如果爬蟲爬不到你的網頁，這個頁面就不會被索引，也就不可能出現在搜尋結果裡。
所以對任何想做 SEO 的人來說，第一要務就是「讓 Googlebot 進得來、也讀得到」。
實務上，你可以從這幾件事著手：
- 檢查
robots.txt，確認沒有不小心把重要頁面擋在外面。 - 提供 XML 網站地圖（sitemap），幫爬蟲更快發現你站上的頁面。
- 建立清楚的內部連結，讓爬蟲能順著連結一頁跳一頁。
- 用 Google Search Console 的「網址審查」工具，看 Googlebot 到底怎麼看你的頁面。
- 別把重要內容藏在登入牆後面，或過度依賴複雜的 JavaScript 才顯示。
- 如果你是大型網站，要留意檢索預算（crawl budget），把爬蟲的力氣花在重要頁面上。
新手的起手式其實很單純：先確認你最在意的那幾頁，Googlebot 都進得去、讀得懂，再來談排名的事。
關於網路爬蟲的常見迷思
迷思一：被爬蟲爬過，就一定會出現在 Google 上
不一定。檢索（爬到）和索引（收進資料庫）是兩件不同的事。
爬蟲把頁面抓回去，只是第一步；Google 還會再判斷要不要把它收進索引、值不值得排在前面。
爬到，不等於上得了搜尋結果。
迷思二：用 robots.txt 擋住，頁面就絕對不會出現在搜尋結果
這是最經典的誤解。robots.txt 擋的是「爬取」，而不是「索引」。
依 Google 官方說明，一個被 robots.txt 擋住的網址，如果有其他頁面連到它，仍然可能被列入索引（只是 Google 讀不到內容，摘要會空空的）。
如果你真的不想讓某頁出現在搜尋結果，要用的是 noindex 標籤，而不是 robots.txt。
迷思三：所有爬蟲都是 Googlebot，也都對 SEO 有幫助
不是。網路上有各式各樣的爬蟲：搜尋引擎的、AI 公司的、資安掃描的，甚至是惡意的。
只有 Googlebot 的檢索會影響你的 Google 排名，其他爬蟲跟你的 Google 名次沒有直接關係。
學會分辨「誰來爬」，比一律歡迎或一律封鎖更重要。
迷思四：爬蟲來越多次，排名就越高
沒有這種因果關係。爬取的頻率，反映的是 Google 認為你的內容多常更新、多重要，並不是「爬越多、排越前」。
把心思放在內容品質，比追求爬蟲來訪次數實際得多。
總結
如果只記一句話：網路爬蟲是搜尋引擎的「先遣偵察兵」，負責把網路上的內容找回來，交給後面的索引與排序系統處理。
新手可以記住三件事。
- 第一，先確保 Googlebot 爬得到你——把
robots.txt、sitemap、內部連結這三件基本功做好。 - 第二，分清楚「檢索」和「索引」是兩件事，爬到不等於上得了榜。
- 第三，AI 爬蟲是新出現的角色，要不要讓它進門，由你自己決定。
