AI Skills
firecrawl-crawl

firecrawl-crawl

熱門

從整個網站或網站區塊大量擷取內容。當使用者想要爬取網站、從文件區塊提取所有頁面、跟隨連結大量抓取多個頁面，或說出「爬取」、「取得所有頁面」、「提取 /docs 下的所有內容」、「大量提取」，或需要同一網站上多個頁面的內容時，使用此技能。處理深度限制、路徑過濾和並行提取。

473星標
72分支
更新於 2026/6/19
獲取技能源代碼

相關技能

prospecting3.6萬agent-browser3.6萬opencli-autofix2.6萬
SKILL.md
readonlyread-only
name
firecrawl-crawl
description

Bulk extract content from an entire website or site section. Use this skill when the user wants to crawl a site, extract all pages from a docs section, bulk-scrape multiple pages following links, or says "crawl", "get all the pages", "extract everything under /docs", "bulk extract", or needs content from many pages on the same site. Handles depth limits, path filtering, and concurrent extraction.

firecrawl crawl

從網站大量擷取內容。爬取頁面並跟隨連結，直到達到深度/限制。

使用時機

  • 你需要網站上多個頁面的內容（例如所有 /docs/）
  • 你想要提取整個網站區塊
  • 工作流程升級模式 中的第 4 步：搜尋 → 抓取 → 地圖 → 爬取 → 互動

快速開始

# 爬取文件區塊
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# 完整爬取並設定深度限制
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# 檢查進行中爬取的狀態
firecrawl crawl <job-id>

選項

選項 說明
--wait 等待爬取完成後再返回
--progress 等待時顯示進度
--limit <n> 最大爬取頁面數
--max-depth <n> 最大跟隨連結深度
--include-paths <paths> 僅爬取符合這些路徑的 URL
--exclude-paths <paths> 跳過符合這些路徑的 URL
--delay <ms> 請求之間的延遲
--max-concurrency <n> 最大並行爬取工作者數量
--pretty 美化 JSON 輸出
-o, --output <path> 輸出檔案路徑

提示

  • 當你需要立即取得結果時，務必使用 --wait。否則爬取會回傳一個 job ID 供非同步輪詢。
  • 使用 --include-paths 來限定爬取範圍——當你只需要某個區塊時，不要爬取整個網站。
  • 爬取會按頁面消耗額度。在進行大型爬取前，請先檢查 firecrawl credit-usage。

參見