自己的網站可在 Screaming Frog 設定中選擇忽略 robots.txt 做內部稽核；第三方網站仍應遵守對方規則與授權。忽略 robots 只改工具行為，不會改 Googlebot 看到的狀態。
檢查時應保留兩次 crawl：一次遵守 robots 看搜尋引擎可見範圍，一次在獲授權下忽略規則看完整網站。兩份差異才是封鎖問題清單。
先看哪些訊號，再決定怎麼處理
| 檢查訊號 | 代表什麼 | 下一步 |
|---|---|---|
| 遵守 robots 時大量 URL 消失 | 搜尋 crawler 也可能看不到 | 檢查 Disallow 規則 |
| 忽略 robots 後才看到 noindex | Googlebot可能讀不到 meta | 重新設計抓取與索引控制 |
| 目標不是自有網站 | 可能沒有測試授權 | 停止繞過，改用公開可存取資料 |
操作示例
操作示例：先用預設設定 crawl 並匯出 blocked URLs；取得站方授權後，再設定忽略 robots 重跑。以 URL 為鍵比對兩份結果，優先修本來應公開的重要頁。
最容易誤判的地方
- 把 robots.txt 當成可靠的去索引工具
- 忽略 robots 後就認為 Google 也能看到那些頁
適用與不適用情境
適合用在
適合自有網站或已明確獲得技術稽核授權的專案。
不適合直接套用
沒有網站所有者授權時，不應用工具繞過封鎖。
接下來怎麼做
- 保存遵守 robots 的基準 crawl
- 只在授權環境跑完整 crawl
- 修正規則後再以預設模式驗收
先照這個順序拆
- 先確認 robots.txt、meta robots、header 與 …
- 分清楚哪些訊號在擋抓取、哪些在擋索引、哪些只是在排除版本。
- 再回頭看 sitemap、內鏈與重要頁是否仍有 discovery 路徑…
- 最後才討論個別例外，例如 noindex 頁上的連結傳遞。
這題通常不是表面看到的那一種問題
- noindex、nofollow、disallow 影響的層級並不相同。
- 有些頁面不進 sitemap 不代表一定被擋抓取。
可抓取性問題最常見的誤會，是把 robots、noindex、nofollow 與 sitemap 排除混成一件事。先分清楚每一個訊號到底在擋什麼，排查才會準。
這類問題真正想解的是：目前到底是哪個層級的封鎖或排除訊號，讓 Google 沒辦法正常發現、抓取或保留這頁。
怎麼做比較穩
- 先盤所有封鎖與排除訊號。
- 把訊號影響層級畫清楚。
- 確認重要頁仍有穩定 discovery 路徑。
要避開的做法
- 不要把所有擋法混成同一件事。
- 不要在未盤清訊號前同時改很多封鎖規則。
- 不要只看 robots.txt 就以為排查完成。
社群裡常見的問題點
- 很多討論會只看 robots.txt，卻沒看 meta robots、h…
- 也有人把 noindex 頁上的外鏈權重、抓取行為與 sitemap 行…
- 有效的回覆通常會先畫出每個訊號影響的層級。