hyperframes-media

hyperframes-media

熱門

HyperFrames 組合的資產預處理 — 多供應商 TTS(HeyGen / ElevenLabs / Kokoro 本地)、多供應商 BGM(Google Lyria / 本地 MusicGen)、Whisper 轉錄、去背及字幕編寫。用於 npx hyperframes tts、bgm、transcribe、remove-background、語音/供應商選擇、音樂情緒提示、字幕/歌詞/卡拉 OK/逐字樣式。

2.9萬星標
3036分支
更新於 2026/6/20
SKILL.md
readonlyread-only
name
hyperframes-media
description

HyperFrames 組合的資產預處理 — 多供應商 TTS(HeyGen / ElevenLabs / Kokoro 本地)、多供應商 BGM(Google Lyria / 本地 MusicGen)、Whisper 轉錄、去背及字幕編寫。用於 npx hyperframes tts、bgm、transcribe、remove-background、語音/供應商選擇、音樂情緒提示、字幕/歌詞/卡拉 OK/逐字樣式。

HyperFrames Media

建立資產的 CLI 指令(ttsbgmtranscriberemove-background),以及消費和動畫化轉錄資料所需的一切(用於 HTML)。若要將資產放入組合中,請參閱 hyperframes-core

供應商鏈(從環境變數自動偵測)

TTSnpx hyperframes tts "..." 會選取第一個可用的供應商:

順序 供應商 偵測條件 逐字時間戳記
1 HeyGen (Starfish) $HEYGEN_API_KEY / hyperframes auth login 有,原生支援 — 傳入 --words narration.words.json 以擷取
2 ElevenLabs 已設定 $ELEVENLABS_API_KEY 無 — 之後串接 transcribe
3 Kokoro-82M(本地,54 種語音) 永遠可用(無需金鑰) 無 — 之後串接 transcribe

如果安裝的 hyperframes tts 是僅限本地的版本(其 --help 顯示「Kokoro-82M」且沒有 --provider/--words 旗標),即使設定了 $HEYGEN_API_KEY,它也會靜默地回退到 Kokoro。若要強制使用 HeyGen(無論 CLI 版本為何),請使用獨立的 scripts/heygen-tts.mjs(參閱 references/tts.md)。

BGMnpx hyperframes bgm --duration N

順序 供應商 偵測條件
1 Google Lyria (RealTime) 已設定 $GEMINI_API_KEY$GOOGLE_API_KEY
2 MusicGen(facebook/musicgen-small,本地) 已安裝 Python transformers + torch + soundfile

可使用 --provider <name> 覆蓋任一項。

路由

任務 閱讀文件
npx hyperframes tts — 供應商鏈、語音 ID、words.json references/tts.md
不使用 CLI 的 HeyGen — 獨立 REST 腳本(wav + words) scripts/heygen-tts.mjs(參閱 references/tts.md
npx hyperframes bgm — Lyria 與 MusicGen 比較、情緒提示、調整 references/bgm.md
npx hyperframes transcribe — Whisper、模型規則、輸出格式 references/transcribe.md
npx hyperframes remove-background — 透明去背 references/remove-background.md
TTS → 轉錄 → 字幕(無錄製旁白) references/tts-to-captions.md
字幕編寫 — 樣式偵測、佈局、單字分組、退出 references/captions/authoring.md
轉錄處理 — 輸入格式、品質門檻、清理、API references/captions/transcript-handling.md
字幕動畫 — 卡拉 OK、標記效果、音訊反應 references/captions/motion.md
模型快取、系統依賴、疑難排解 references/requirements.md

不可妥協的規則

  • 語音 ID 是供應商特定的。 am_michael 僅限 Kokoro;HeyGen UUID 在 Kokoro 上無效。如果傳入 --voice,也請固定 --provider,以避免因使用者環境變更而導致供應商靜默漂移。
  • 務必傳入 --modeltranscribe CLI 預設值 small.en 會靜默地翻譯非英文音訊。請參閱 references/transcribe.md →「語言規則」。
  • HeyGen 會回傳逐字時間戳記;ElevenLabs / Kokoro 則不會。 當您需要字幕時,請傳入 --words 給 HeyGen 並直接使用該 JSON,或對音訊檔案執行 transcribe。不要假設逐字資料永遠存在。
  • 字幕使用扁平化的單字陣列格式,包含 { id, text, start, end }。請參閱 references/transcribe.md →「輸出格式」。
  • remove-background --background-output 是挖洞,不是修補。 若要「不含人物的場景」,需要使用其他工具。請參閱 references/remove-background.md →「何時不該使用此工具」。