firecrawl-knowledge-base

Firecrawl 知識庫

使用此工具將 URL 或主題轉換為組織良好的 LLM 就緒內容。

入職訪談

從上下文推斷來源、目標、深度和輸出位置。如果來源和目標明確，請立即進行。

僅在受阻時提出最多 1-3 個簡潔問題，例如來源 URL/主題、輸出是否為參考/RAG/訓練/文件，或如果要求訓練則詢問訓練格式。

Firecrawl 收集計畫

對文件網站使用 Firecrawl map，對基於主題的語料庫使用搜索，將頁面抓取為 Markdown，並保留程式碼範例和表格。

對於檔案，遵循 Firecrawl 下載風格的慣例：

.firecrawl/
  <hostname>/
    <path>/
      index.md

平行工作

如果合適，使用子代理或等效的平行任務執行器：

• 每個研究人員負責一個文件章節
• 按來源類型區分官方文件、教學、社群討論和參考資料
• 來源抓取 vs 區塊生成 vs 清單生成

輸出模式

• 參考：Markdown 檔案、index.md 和 sources.json。
• RAG：Markdown 檔案加上區塊檔案和 manifest.json。
• 訓練：抓取的來源檔案加上 training-data.jsonl 和 training-metadata.json。
• 文件鏡像：完整的 Markdown 鏡像，附帶目錄。

最終交付物

# 知識庫：[來源]

## 摘要
[收集了什麼以及原因]

## 輸出結構
[建立的檔案/目錄]

## 覆蓋範圍
[章節、來源類型、數量]

## 使用說明
[如何在 RAG、文件、訓練或代理上下文中使用]

## 來源
[收集的 URL]

## 重新執行輸入
workflow: firecrawl-knowledge-base
source: [url/topic]
goal: [reference/rag/train/docs]
depth: [quick/thorough/exhaustive]
output_dir: [.firecrawl/]

品質標準

• 保留程式碼範例和格式。
• 盡可能移除樣板導航。
• 在 frontmatter 或 metadata 中包含來源 URL。