SKILL.md
readonlyread-only
name
hyperframes-media
description
HyperFrames 組合的資產預處理 — 多供應商 TTS(HeyGen / ElevenLabs / Kokoro 本地)、多供應商 BGM(Google Lyria / 本地 MusicGen)、Whisper 轉錄、去背及字幕編寫。用於 npx hyperframes tts、bgm、transcribe、remove-background、語音/供應商選擇、音樂情緒提示、字幕/歌詞/卡拉 OK/逐字樣式。
HyperFrames Media
建立資產的 CLI 指令(tts、bgm、transcribe、remove-background),以及消費和動畫化轉錄資料所需的一切(用於 HTML)。若要將資產放入組合中,請參閱 hyperframes-core。
供應商鏈(從環境變數自動偵測)
TTS — npx hyperframes tts "..." 會選取第一個可用的供應商:
| 順序 | 供應商 | 偵測條件 | 逐字時間戳記 |
|---|---|---|---|
| 1 | HeyGen (Starfish) | $HEYGEN_API_KEY / hyperframes auth login |
有,原生支援 — 傳入 --words narration.words.json 以擷取 |
| 2 | ElevenLabs | 已設定 $ELEVENLABS_API_KEY |
無 — 之後串接 transcribe |
| 3 | Kokoro-82M(本地,54 種語音) | 永遠可用(無需金鑰) | 無 — 之後串接 transcribe |
如果安裝的
hyperframes tts是僅限本地的版本(其--help顯示「Kokoro-82M」且沒有--provider/--words旗標),即使設定了$HEYGEN_API_KEY,它也會靜默地回退到 Kokoro。若要強制使用 HeyGen(無論 CLI 版本為何),請使用獨立的scripts/heygen-tts.mjs(參閱references/tts.md)。
BGM — npx hyperframes bgm --duration N:
| 順序 | 供應商 | 偵測條件 |
|---|---|---|
| 1 | Google Lyria (RealTime) | 已設定 $GEMINI_API_KEY 或 $GOOGLE_API_KEY |
| 2 | MusicGen(facebook/musicgen-small,本地) |
已安裝 Python transformers + torch + soundfile |
可使用 --provider <name> 覆蓋任一項。
路由
| 任務 | 閱讀文件 |
|---|---|
npx hyperframes tts — 供應商鏈、語音 ID、words.json |
references/tts.md |
| 不使用 CLI 的 HeyGen — 獨立 REST 腳本(wav + words) | scripts/heygen-tts.mjs(參閱 references/tts.md) |
npx hyperframes bgm — Lyria 與 MusicGen 比較、情緒提示、調整 |
references/bgm.md |
npx hyperframes transcribe — Whisper、模型規則、輸出格式 |
references/transcribe.md |
npx hyperframes remove-background — 透明去背 |
references/remove-background.md |
| TTS → 轉錄 → 字幕(無錄製旁白) | references/tts-to-captions.md |
| 字幕編寫 — 樣式偵測、佈局、單字分組、退出 | references/captions/authoring.md |
| 轉錄處理 — 輸入格式、品質門檻、清理、API | references/captions/transcript-handling.md |
| 字幕動畫 — 卡拉 OK、標記效果、音訊反應 | references/captions/motion.md |
| 模型快取、系統依賴、疑難排解 | references/requirements.md |
不可妥協的規則
- 語音 ID 是供應商特定的。
am_michael僅限 Kokoro;HeyGen UUID 在 Kokoro 上無效。如果傳入--voice,也請固定--provider,以避免因使用者環境變更而導致供應商靜默漂移。 - 務必傳入
--model給transcribe。 CLI 預設值small.en會靜默地翻譯非英文音訊。請參閱references/transcribe.md→「語言規則」。 - HeyGen 會回傳逐字時間戳記;ElevenLabs / Kokoro 則不會。 當您需要字幕時,請傳入
--words給 HeyGen 並直接使用該 JSON,或對音訊檔案執行transcribe。不要假設逐字資料永遠存在。 - 字幕使用扁平化的單字陣列格式,包含
{ id, text, start, end }。請參閱references/transcribe.md→「輸出格式」。 remove-background --background-output是挖洞,不是修補。 若要「不含人物的場景」,需要使用其他工具。請參閱references/remove-background.md→「何時不該使用此工具」。






