skill-comply

skill-comply

熱門

視覺化技能、規則與代理定義是否確實被遵循——自動生成三種提示嚴格程度的情境,執行代理,分類行為序列,並回報完整工具呼叫時間軸的遵循率

23萬星標
3.5萬分支
更新於 2026/7/17
SKILL.md
readonlyread-only
name
skill-comply
description

視覺化技能、規則與代理定義是否確實被遵循——自動生成三種提示嚴格程度的情境,執行代理,分類行為序列,並回報完整工具呼叫時間軸的遵循率

skill-comply:自動化遵循度量

透過以下方式度量編碼代理是否確實遵循技能、規則或代理定義:

  1. 從任何 .md 檔案自動生成預期的行為序列(規格)
  2. 自動生成提示嚴格程度遞減的情境(支持性 → 中性 → 競爭性)
  3. 執行 claude -p 並透過 stream-json 擷取工具呼叫軌跡
  4. 使用 LLM(而非正規表達式)將工具呼叫分類至規格步驟
  5. 確定性檢查時間順序
  6. 生成包含規格、提示與時間軸的獨立報告

支援的目標

  • 技能skills/*/SKILL.md):工作流程技能,如搜尋優先、TDD 指南
  • 規則rules/common/*.md):強制規則,如 testing.mdsecurity.mdgit-workflow.md
  • 代理定義agents/*.md):代理是否在預期時被呼叫(內部工作流程驗證尚未支援)

啟用時機

  • 使用者執行 /skill-comply <path>
  • 使用者詢問「這個規則真的有被遵循嗎?」
  • 新增規則/技能後,驗證代理遵循情況
  • 定期作為品質維護的一部分

使用方式

# 完整執行
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# 試執行(無成本,僅規格與情境)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# 自訂模型
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

核心概念:提示獨立性

度量技能/規則即使在提示未明確支援時是否仍被遵循。

報告內容

報告為獨立檔案,包含:

  1. 預期的行為序列(自動生成規格)
  2. 情境提示(每個嚴格程度下詢問的內容)
  3. 每個情境的遵循分數
  4. 附有 LLM 分類標籤的工具呼叫時間軸

進階(選用)

對於熟悉鉤子(hooks)的使用者,報告也包含針對低遵循步驟的鉤子推廣建議。此為參考資訊——主要價值在於遵循度的可視化。