firecrawl-knowledge-ingest

Firecrawl 知識庫擷取

當文件入口網站需要瀏覽器導航、驗證、分頁或 JavaScript 渲染時使用此功能。

入職訪談

根據上下文推斷入口網站 URL、輸出格式、驗證需求與頁面限制。如果入口網站明確，則直接進行。

僅在遇到阻礙時提出最多 1-3 個簡潔問題，例如入口網站 URL、是否需要驗證，或所需的輸出格式。

Firecrawl 收集計畫

使用 Firecrawl 瀏覽器來：

• 開啟入口網站並檢查導航
• 識別章節、類別、側邊欄連結與文章 URL
• 跟隨側邊欄導航、下一頁連結、分頁、載入更多控制項或搜尋
• 將文章內容擷取為 Markdown
• 擷取元資料，例如標題、章節、最後更新日期、作者與標籤

嘗試使用 Firecrawl map 作為公開 URL 的補充，但對於需驗證或 JavaScript 密集的內容，請使用瀏覽器導航。

最終交付物

# 知識庫擷取：[入口網站]

## 摘要
[擷取的頁面數、涵蓋的章節、限制]

## 輸出
[JSON/Markdown/合併檔案路徑或內容]

## 章節
[章節名稱與文章數量]

## 失敗或受限頁面
[任何存取/載入問題]

## 來源
[擷取的 URL]

## 重新執行輸入
workflow: firecrawl-knowledge-ingest
url: [入口網站 url]
format: [json/markdown/merged]
max_pages: [數字]

JSON 結構

使用 source、url、extractedAt、totalArticles 與 sections[]，其中包含文章的 title、url、section、content 與 metadata。

品質標準

• 保留程式碼範例、表格與格式。
• 移除導航外框、頁首與頁尾。
• 追蹤擷取進度與頁面失敗情況。
• 尊重驗證邊界。