skill-comply

skill-comply

热门

可视化技能、规则和代理定义是否被实际遵循——自动在3种提示严格级别下生成场景,运行代理,对行为序列进行分类,并报告带有完整工具调用时间线的合规率

23万Star
3.5万Fork
更新于 2026/7/17
SKILL.md
readonly只读
name
skill-comply
description

可视化技能、规则和代理定义是否被实际遵循——自动在3种提示严格级别下生成场景,运行代理,对行为序列进行分类,并报告带有完整工具调用时间线的合规率

skill-comply:自动化合规度量

通过以下方式衡量编码代理是否实际遵循技能、规则或代理定义:

  1. 从任何 .md 文件自动生成期望的行为序列(规范)
  2. 自动生成提示严格程度递减的场景(支持性 → 中性 → 竞争性)
  3. 运行 claude -p 并通过 stream-json 捕获工具调用轨迹
  4. 使用 LLM(而非正则表达式)将工具调用与规范步骤进行分类
  5. 确定性检查时间顺序
  6. 生成包含规范、提示和时间线的自包含报告

支持的目标

  • 技能skills/*/SKILL.md):工作流技能,如搜索优先、TDD 指南
  • 规则rules/common/*.md):强制性规则,如 testing.mdsecurity.mdgit-workflow.md
  • 代理定义agents/*.md):代理是否在预期时被调用(内部工作流验证尚不支持)

何时激活

  • 用户运行 /skill-comply <path>
  • 用户询问“这条规则是否真的被遵循?”
  • 添加新规则/技能后,验证代理合规性
  • 定期作为质量维护的一部分

用法

# 完整运行
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# 试运行(无成本,仅生成规范和场景)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# 自定义模型
uv run python -m scripts.run --gen-model haiku --model sonnet <path>

关键概念:提示独立性

衡量即使提示没有明确支持时,技能/规则是否仍被遵循。

报告内容

报告是自包含的,包括:

  1. 期望的行为序列(自动生成的规范)
  2. 场景提示(每个严格级别下提出的问题)
  3. 每个场景的合规分数
  4. 带有 LLM 分类标签的工具调用时间线

高级(可选)

对于熟悉钩子的用户,报告还包括针对低合规步骤的钩子提升建议。这是信息性的——主要价值在于合规性的可见性本身。