firecrawl-crawl

firecrawl crawl

从网站批量提取内容。爬取页面，跟随链接直到达到深度/限制。

何时使用

• 你需要网站上的多个页面内容（例如，所有 /docs/）
• 你想提取整个网站部分
• 工作流升级模式中的第4步：搜索 → 抓取 → 映射 → 爬取 → 交互

快速开始

# 爬取文档部分
firecrawl crawl "<url>" --include-paths /docs --limit 50 --wait -o .firecrawl/crawl.json

# 带深度限制的完整爬取
firecrawl crawl "<url>" --max-depth 3 --wait --progress -o .firecrawl/crawl.json

# 检查正在运行的爬取状态
firecrawl crawl <job-id>

选项

选项	描述
--wait	等待爬取完成后再返回
--progress	等待时显示进度
--limit <n>	最大爬取页面数
--max-depth <n>	最大链接深度
--include-paths <paths>	仅爬取匹配这些路径的URL
--exclude-paths <paths>	跳过匹配这些路径的URL
--delay <ms>	请求之间的延迟
--max-concurrency <n>	最大并行爬取工作线程数
--pretty	美化打印JSON输出
-o, --output <path>	输出文件路径

提示

• 当你需要立即获得结果时，始终使用 --wait。没有它，爬取会返回一个作业ID用于异步轮询。
• 使用 --include-paths 限定爬取范围——当你只需要一个部分时，不要爬取整个网站。
• 爬取按页面消耗积分。在进行大规模爬取前，检查 firecrawl credit-usage。

另请参阅

• firecrawl-scrape — 抓取单个页面
• firecrawl-map — 在决定爬取前发现URL
• firecrawl-download — 将网站下载到本地文件（使用map + scrape）