Fish Speech 入门:生成多语种角色语音
从安装开源推理工具开始,用参考音频克隆角色声音,生成多语种对白,并整理成可直接接入游戏音频管线的 WAV 文件。
- 1
准备环境与模型
克隆 GitHub 仓库,按 README 安装 Python、PyTorch 与推理依赖,下载匹配显卡的模型权重并启动 WebUI;首次运行会检查 CUDA 与显存。
- 2
准备角色参考音频
选取 10 至 30 秒清晰、无音乐和混响的角色录音,裁成单声道并统一音量,保存为 WAV;在 WebUI 的参考音频框中上传该文件。
- 3
生成首个角色对白
在文本框输入一句台词,选择参考音频、语言和音色参数后点击生成;先测试短句,确认发音、口型节奏与情绪,再下载 WAV。
- 4
制作多语种本地化
保持同一参考声音,切换目标语言并输入对应译文,批量生成对白;按角色、章节、台词编号保存文件,保留生成参数便于返修。
- 5
接入游戏音频管线
用 FFmpeg 将 WAV 转为项目指定格式,输出至角色或章节目录;再通过 Unity Addressables、Wwise AudioBank 或 Unreal SoundWave 导入。
- 6
批量处理与验收
用 CSV 或脚本传入台词、角色、语言及参考音频,批量生成并核对缺失项;按响度、爆音、截断和发音标准完成交付验收。
💡 实用技巧
- 参考音频越干净,克隆音色越稳定
- 长台词分句生成可减少漏字和截断
- 固定参数并记录模型版本
- 统一响度和文件命名便于入库
⚠️ 常见坑
- 显存不足时先降低批量数量或精度
- 带背景音乐的参考音频会带入杂音
常见问题
Q:显卡显存不足导致无法启动怎么办?
首次启动会检查 CUDA 与显存。出现显存不足时,先把批量数量调小或降低推理精度;模型权重应选择与本机显卡匹配的版本,修改后再重新启动 WebUI。
Q:参考音频怎样处理才能减少背景杂音?
选用 10 至 30 秒清晰、无音乐和无混响的角色录音,裁成单声道并统一音量,再保存为 WAV 上传。背景音乐或混响会一并影响克隆结果,导致生成语音带入杂音。
Q:生成后如何转成游戏可用的音频文件?
先在 WebUI 生成并下载 WAV,再使用 FFmpeg 转成项目指定格式,输出到角色或章节目录。之后可按项目方式通过 Unity Addressables、Wwise AudioBank 或 Unreal SoundWave 导入。