firecrawl-crawl

firecrawl crawl

從網站大量擷取內容。爬取頁面並跟隨連結，直到達到深度/限制。

使用時機

• 你需要網站上多個頁面的內容（例如所有 /docs/）
• 你想要提取整個網站區塊
• 工作流程升級模式 中的第 4 步：搜尋 → 抓取 → 地圖 → 爬取 → 互動

快速開始

# 爬取文件區塊
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# 完整爬取並設定深度限制
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# 檢查進行中爬取的狀態
firecrawl crawl <job-id>

選項

選項	說明
--wait	等待爬取完成後再返回
--progress	等待時顯示進度
--limit <n>	最大爬取頁面數
--max-depth <n>	最大跟隨連結深度
--include-paths <paths>	僅爬取符合這些路徑的 URL
--exclude-paths <paths>	跳過符合這些路徑的 URL
--delay <ms>	請求之間的延遲
--max-concurrency <n>	最大並行爬取工作者數量
--pretty	美化 JSON 輸出
-o, --output <path>	輸出檔案路徑

提示

• 當你需要立即取得結果時，務必使用 --wait。否則爬取會回傳一個 job ID 供非同步輪詢。
• 使用 --include-paths 來限定爬取範圍——當你只需要某個區塊時，不要爬取整個網站。
• 爬取會按頁面消耗額度。在進行大型爬取前，請先檢查 firecrawl credit-usage。

參見

• firecrawl-scrape — 抓取單個頁面
• firecrawl-map — 在決定爬取前探索 URL
• firecrawl-download — 將網站下載到本地檔案（使用 map + scrape）