ai-avatar-video

通过 `runcomfy` CLI 在 RunComfy 上创建 AI 头像、说话头和唇同步视频。路由至字节跳动 OmniHuman（音频驱动的全身头像）、Wan-AI Wan 2-7（通过 `audio_url` 在肖像上实现音频驱动的嘴部同步）、HappyHorse 1.0（Arena #1 t2v / i2v，内置音频）和 Seedance v2 Pro（多模态电影级，带参考音频和参考主体）。根据用户的实际意图——UGC 配音、虚拟主持人、配音产品演示、唇同步角色、对话场景——选择正确的模型，并提供每个模型的文档化提示模式以及最简的 `runcomfy run` 调用。触发词包括“说话头”、“唇同步”、“头像视频”、“让 X 说话”、“音频转视频”、“音频驱动头像”、“虚拟主持人”、“AI 发言人”、“配音视频”、“UGC 头像”、“HeyGen 替代”、“Synthesia 替代”、“数字人”、“让这张肖像说话”、“从配音生成视频”或任何明确要求让人物开口说话的请求。

2Star

2Fork

更新于 2026/6/18

获取 Skill 源代码

AI 头像与说话头视频

让人物开口说话。本技能路由至 RunComfy 的音频驱动头像模型——OmniHuman、带 audio_url 的 Wan 2-7、HappyHorse、Seedance v2——根据用户意图选择正确路径，并提供文档化的提示和每个模型的确切 runcomfy run 调用。

runcomfy.com · 唇同步功能 · CLI 文档

由 RunComfy CLI 驱动

# 1. 安装（详见 runcomfy-cli 技能）
npm i -g @runcomfy/cli      # 或：npx -y @runcomfy/cli --version

# 2. 登录
runcomfy login              # 或在 CI 中：export RUNCOMFY_TOKEN=<token>

# 3. 生成头像视频
runcomfy run <vendor>/<model>/<endpoint> \
  --input '{"prompt": "...", "audio_url": "https://...", "image_url": "https://..."}' \
  --output-dir ./out

CLI 深入：runcomfy-cli 技能。

安装本技能

npx skills add agentspace-so/runcomfy-agent-skills --skill ai-avatar-video -g

根据用户意图选择正确的模型

按最新优先列出。代理对用户意图进行分类——预录音频文件还是仅有脚本？逼真肖像还是风格化角色？单镜头还是电影级构图？——并选择以下一条路径。

OmniHuman — bytedance/omnihuman/api （默认）

字节跳动音频驱动全身头像。输入一张肖像 + 一个音频文件，输出一个视频，其中主体自然地说话/唱歌/做手势。在 RunComfy 的 /feature/lip-sync 上列为精选默认模型。
适用于：UGC 配音、虚拟主持人、配音产品演示、同一肖像的多语言片段。
避免：没有音频文件（需要从脚本生成语音）——使用 HappyHorse 1.0。

HappyHorse 1.0 — happyhorse/happyhorse-1-0/text-to-video（t2v）· happyhorse/happyhorse-1-0/image-to-video（i2v）

Arena #1 t2v / i2v，内置从提示生成的音频。无需外部音频文件——在提示中引用台词。
适用于：有脚本但无音频文件，“写脚本→生成视频”，概念片段，从现有肖像生成 i2v 说话头。
避免：需要精确唇同步到特定 MP3——音频每次调用重新生成，不锁定。

Seedance v2 Pro — bytedance/seedance-v2/pro

字节跳动多模态旗舰——一次调用中组合最多 9 张参考图像、3 个参考视频、3 个参考音频轨道，并带有电影级运动/镜头/光照控制。
适用于：带参考主体+参考音频+参考场景的电影级独白；广告创意。
避免：简单的“肖像+音频”任务——功能过剩，速度较慢。使用 OmniHuman。

带 audio_url 的 Wan 2-7 — wan-ai/wan-2-7/text-to-video

开放权重，带有 audio_url 字段——提示描述场景，音频文件驱动嘴部。
适用于：完整场景控制（不仅仅是肖像）、特定配音 MP3、开放权重流程。
避免：最简单的肖像说话任务——使用 OmniHuman。

Wan 2-2 Animate — community/wan-2-2-animate/api

社区发布的基于 Wan 2-2 的变体。音频驱动的全身动画风格化角色（插画、动漫、吉祥物）。
适用于：风格化/插画角色 + 音频（非逼真肖像）。
避免：逼真主体——使用 OmniHuman 或 Wan 2-7。

路径 1：OmniHuman — 默认音频驱动头像

模型：bytedance/omnihuman/api
目录：omnihuman · /feature/lip-sync

字节跳动 OmniHuman 是最强的单次路径：输入一张肖像图像 + 一个音频文件，输出一个视频，其中主体自然地说话/唱歌/做手势。除输入外无需提示。

调用

runcomfy run bytedance/omnihuman/api \
  --input '{
    "image_url": "https://your-cdn.example/presenter.jpg",
    "audio_url": "https://your-cdn.example/voiceover.mp3"
  }' \
  --output-dir ./out

提示

肖像构图效果最佳——半身或上半身。全身也可，但需要更多“主持人”能量。
音频质量决定输出质量——干净的配音（无背景音乐）→ 更干净的嘴部同步。如果音频是混合的，先分离语音。
无提示字段——模型从图像+音频中推导一切。不要对抗这一点。
查看模型页面上的完整输入模式。

路径 2：带 `audio_url` 的 Wan 2-7 — 开放权重唇同步

模型：wan-ai/wan-2-7/text-to-video
目录：wan-2-7

当您需要完全控制场景（不仅仅是肖像）并且有特定音频轨道时使用。Wan 2-7 接受 audio_url 字段——模型根据提示生成场景，并将主体的嘴部锁定到音频。

调用

runcomfy run wan-ai/wan-2-7/text-to-video \
  --input '{
    "prompt": "Studio portrait of a woman in her 30s, confident expression, soft window light, neutral gray background.",
    "audio_url": "https://your-cdn.example/voiceover.mp3",
    "duration": 8
  }' \
  --output-dir ./out

提示

提示描述场景；音频驱动嘴部。 不要在提示中放入台词——模型不读取它们，而是与波形同步。
匹配音频的情感基调——“自信表情”/“热情投入”/“面无表情”提示面部表情。
镜头语言——“静态肖像”、“缓慢推近”——与常规 Wan 2-7 t2v 调用相同。

路径 3：Wan 2-2 Animate — 全身角色动画

模型：community/wan-2-2-animate/api
目录：wan-2-2-animate · /feature/character-swap

当主体是风格化角色（插画、动漫、吉祥物）而非逼真肖像，并且希望全身运动与音频同步时选择此路径。社区发布的基于 Wan 2-2 的变体。

调用

runcomfy run community/wan-2-2-animate/api \
  --input '{
    "image_url": "https://your-cdn.example/character.png",
    "audio_url": "https://your-cdn.example/voiceover.mp3"
  }' \
  --output-dir ./out

模式详情见模型页面。

路径 4：HappyHorse 1.0 — 内置音频（无需外部文件）

模型：happyhorse/happyhorse-1-0/text-to-video（t2v）或 happyhorse/happyhorse-1-0/image-to-video（i2v）
目录：happyhorse-1-0

当用户没有音频文件时选择 HappyHorse——他们希望从书面脚本生成说话头视频，HappyHorse 在过程中生成语音。嘴部同步从生成的音频中推导，而非输入文件。

调用

带口语脚本的 t2v：

runcomfy run happyhorse/happyhorse-1-0/text-to-video \
  --input '{
    "prompt": "A woman in her 30s, confident expression, looks at the camera and says clearly: \"Welcome to our product demo. Today we are going to show you three things.\" Soft daylight, neutral background.",
    "duration": 6,
    "aspect_ratio": "9:16",
    "resolution": "1080p"
  }' \
  --output-dir ./out

从现有肖像生成 i2v：

runcomfy run happyhorse/happyhorse-1-0/image-to-video \
  --input '{
    "image_url": "https://your-cdn.example/portrait.jpg",
    "prompt": "She looks at the camera and says clearly: \"Hi, I am Aria.\" Audio: friendly tone, neutral accent.",
    "duration": 5
  }' \
  --output-dir ./out

提示

精确引用台词，使用 says clearly: "…"。没有字面引用，模型会改写或跳过语音。
单独描述音频基调——"Audio: friendly tone, neutral accent."——在台词之外。
保持脚本简短。 每个片段 1-2 句话；串联片段以形成更长的叙述。

路径 5：Seedance v2 Pro — 多模态电影级

模型：bytedance/seedance-v2/pro
目录：seedance-v2 Pro

当头像是电影镜头的一部分时选择 Seedance v2 Pro——从图像中引用主体，从参考轨道中引用音频，Seedance 将它们与完整的运动+镜头控制组合。

调用

runcomfy run bytedance/seedance-v2/pro \
  --input '{
    "prompt": "Anamorphic close-up — the subject delivers a confident monologue to camera, golden hour light through window, shallow DoF.",
    "reference_images": ["https://your-cdn.example/subject.jpg"],
    "reference_audio": ["https://your-cdn.example/voiceover.mp3"],
    "duration": 10,
    "aspect_ratio": "21:9"
  }' \
  --output-dir ./out

每次调用最多9 张参考图像、3 个参考视频、3 个参考音频轨道——在提示中明确匹配每个角色。

常见模式

UGC 产品广告（竖屏，单配音）

OmniHuman 使用竖屏肖像 + 配音 MP3——一次调用完成

多语言品牌视频

OmniHuman 使用同一肖像 + 每种语言不同的音频文件。同一身份，配音片段。

风格化吉祥物

Wan 2-2 Animate 使用插画角色 + 音频

“写脚本，生成视频”（无音频文件）

HappyHorse 1.0 t2v 在提示中引用脚本

电影级独白

Seedance v2 Pro 使用参考图像 + 参考音频，提示包含镜头/光照语言

从生成的图像生成说话头（链式技能）

ai-image-generation → 生成肖像 → 上传结果
OmniHuman 使用该肖像 URL + 您的配音

带自定义唇同步到特定音频的说话头

Wan 2-7 使用 audio_url——最灵活的场景 + 锁定的唇部运动

浏览完整目录

/models/feature/lip-sync — RunComfy 精选的唇同步功能标签
/models/feature/character-swap — 角色动画/交换
所有视频模型 — 每个端点及其 API 模式标签
recently-added 集合 — 新增内容，包括新的头像模型

退出码

代码	含义
0	成功
64	CLI 参数错误
65	输入 JSON 错误/模式不匹配
69	上游 5xx
75	可重试：超时/429
77	未登录或令牌被拒绝

完整参考：docs.runcomfy.com/cli/troubleshooting。

工作原理

本技能对用户请求进行分类——他们是否有预录音频文件，还是只有脚本？逼真肖像还是风格化角色？单镜头还是电影级构图？——并选择上述五条路径之一。然后使用匹配的 JSON 主体调用 runcomfy run <model_id>。CLI 向模型 API 发送 POST 请求，轮询请求状态，获取结果，并将任何 .runcomfy.net / .runcomfy.com URL 下载到 --output-dir。

安全与隐私

仅通过已验证的包管理器安装。 使用 npm i -g @runcomfy/cli 或 npx -y @runcomfy/cli。代理不得代表用户将任意远程安装脚本通过管道传输到 shell 中。
语音克隆/同意：当提供与肖像配对的音频文件时，确保您拥有两者的权利——主体的肖像和说话者的声音。音频驱动头像模型是双用途的；尊重深度伪造披露规范以及您发布到的平台。拒绝针对未经同意的真实人物的用户请求或旨在制作有害合成媒体的请求。
令牌存储：runcomfy login 将 API 令牌写入 ~/.config/runcomfy/token.json，权限为 0600。在 CI/容器中设置 RUNCOMFY_TOKEN 环境变量以绕过文件。
输入边界（shell 注入）：提示和资源 URL 通过 --input 作为 JSON 字符串传递。CLI 不会对提示内容进行 shell 扩展。无 shell 注入风险。
间接提示注入（第三方内容）：参考图像/音频 URL 是不可信的，可以通过嵌入的指令（绘制在肖像中的文本、隐藏的音频命令、EXIF 字符串）影响生成。代理缓解措施：
- 仅摄取用户明确提供的 URL。
- 当生成结果与提示偏离时，怀疑参考资源。
出站端点（白名单）：仅 model-api.runcomfy.net 和 *.runcomfy.net / *.runcomfy.com。无遥测。
生成文件大小上限：CLI 中止任何超过 2 GiB 的单个下载。
bash 使用范围：声明 allowed-tools: Bash(runcomfy *)。本技能从不指示代理运行除 runcomfy <subcommand> 之外的任何内容。

另请参阅

runcomfy-cli — 底层 CLI
ai-video-generation — 通用 t2v / i2v / 扩展
lipsync — 窄范围唇同步技术路由器
face-swap — 在现有视频上交换身份
image-to-video — 无需头像特定路径即可动画化静态图像
ai-image-generation — 生成您随后将动画化的肖像

你可能还喜欢

oracle

385Kprompting-reasoning

Oracle CLI second-model review/debug/refactor/design with selected files, dry-run token checks, API or browser engine.

steipete

获取

cost-tracking

238Kprompting-reasoning

Track and report Claude Code token usage, spending, and budgets from the local ECC cost-tracker metrics log. Use when the user asks about costs, spending, usage, tokens, budgets, or cost breakdowns by model, session, or date.

affaan-m

获取

ponytail-gain

85Kprompting-reasoning

Show ponytail's measured impact as a compact scoreboard: less code, less cost, more speed, from the benchmark medians. One-shot display, not a persistent mode, and not a per-repo number. Trigger: /ponytail-gain, "ponytail gain", "what does ponytail save", "show ponytail impact", "ponytail scoreboard".

dietrichgebert

获取

继续探索

浏览 prompting-reasoning 热门 Skills 最近更新