跳到正文
阿里雲開發者社區 AI·· 14 小時前AI 評分55

SonicVale(音谷)小説 AI 配音部署實戰:多角色、多情緒生成流程

小说AI配音怎么实现?开源工具SonicVale(音谷)部署实战:多角色多情绪

AI 導讀

SonicVale(音谷)的部署教學展示如何將小説文本製作成多角色、多情緒配音。平台以 LLM 拆分台詞、IndexTTS-2.0 合成語音,支援角色與情緒設定、批量生成,以及配音和字幕匯出;版本為 v1.0.6。

正文

2026-11-22 5

版权

版权声明:

本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写 侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

简介: 本文详解开源AI配音平台SonicVale(音谷)的部署与实操:支持多角色、多情绪小说配音,集成LLM台词拆分与IndexTTS-2语音合成。提供整合包一键启动(新手友好)和源码部署(开发者向),涵盖配置、拆分、绑定、生成到导出全流程,并附避坑FAQ。

小说AI配音怎么实现?开源工具SonicVale(音谷)部署实战:多角色多情绪

给小说、剧本或视频配音,过去要么逐句复制到在线工具手动生成,要么花钱找配音外包,长篇内容做下来非常耗时。开源社区给出了新的解法——本文将围绕开源 AI 配音平台 SonicVale(音谷)展开,从环境部署到生成第一段多角色配音全流程跑通。无论你是想做有声书的创作者,还是想研究 TTS 工程实现的开发者,希望都能有所收获。

整合包下载地址: https://pan.quark.cn/s/00688a03df68

本文速览

  • 音谷是什么:SonicVale 是一个开源的多角色、多情绪 AI 配音平台,面向小说、剧本、视频等长文本场景,核心是 LLM 台词拆分 + IndexTTS-2 情绪合成。
  • 两种部署方式:新手可直接用整合包开箱即用;开发者可选择源码部署,注意 ffmpeg 的固定路径与前后端启动顺序。
  • 全流程实操:从配置 LLM 与 TTS 服务、管理音色库,到创建项目、导入章节、台词拆分、角色绑定,最终批量生成并导出配音与字幕。
  • 避坑要点:ffmpeg 位置、LLM 接口选择、无显卡跑 TTS、台词拆分不准、音频二次编辑与 AGPL-3.0 商用限制,都在文末 FAQ 里集中解答。

目录

一、音谷是什么:多角色多情绪的 AI 配音平台

音谷(SonicVale)是一个在 GitHub 开源的多角色、多情绪 AI 配音生成平台,采用 AGPL-3.0 协议,当前版本 v1.0.6,项目地址:https://github.com/xcLee001/SonicVale 。它面向小说、剧本、视频等长文本场景,核心能力包括:

  • 小说 / 剧本文本导入
  • 台词自动拆分(基于 LLM,支持自定义提示词)
  • 多角色角色库管理,多章节共享角色与音色
  • 情绪音色选择与绑定
  • 基于 Index-TTS-2.0 的多情绪语音合成
  • 批量任务管理与配音、字幕导出
  • 音频后处理:删除片段、插入静音片段

技术栈一览:

层次 技术选型
前端 Electron + Vue + Element Plus
后端 FastAPI / Python
LLM 接口 兼容 OpenAI API 协议的大模型
TTS 服务 IndexTTS-2 + 云端显卡算力方案 / 本地部署整合包

官方提供了 B 站效果演示视频,不熟悉的朋友可以先看效果再决定要不要部署:https://www.bilibili.com/video/BV1tSpTz6EBH/

二、部署前的两件事

2.1 基础环境

源码部署需要准备三样东西:

  • Python 环境(后端运行)
  • Node.js 环境(前端构建与 Electron 桌面端)
  • ffmpeg.exe(音频处理依赖)

2.2 LLM 与 TTS 服务

音谷本身不内置模型,需要提前准备两类外部服务:

  1. LLM:任意兼容 OpenAI API 协议的大模型接口,负责台词拆分等文本理解任务;
  2. TTS:IndexTTS-2.0 语音合成服务。没有本地显卡也没关系,官方支持接入 Cloud Native Build 平台的 H20 显卡算力方案,有显卡的环境也可以用本地部署整合包。

三、方式一:整合包启动(推荐新手)

如果不想折腾环境,直接使用文首的整合包下载地址。包内已打包前后端与依赖,解压后按包内说明文档启动即可,省去手动配置 Python、Node.js 依赖的过程,适合只关注使用效果的创作者。

四、方式二:源码部署(开发者推荐)

4.1 克隆项目

git clone https://github.com/xcLee001/SonicVale.git
cd SonicVale

4.2 放置 ffmpeg

后端依赖 ffmpeg 做音频处理,需要先把 ffmpeg.exe 放到 app/core/ffmpeg/ffmpeg.exe 这个固定位置。官方给出的是 ffmpeg 8.0 full build,下载慢可以用备用镜像。

下载解压后,把 ffmpeg.exe 复制到对应目录:

SonicVale/
└── app/
    └── core/
        └── ffmpeg/
            └── ffmpeg.exe   ← 放这里

4.3 启动后端

pip install -r requirements.txt
uvicorn app.main:app --reload

后端是标准的 FastAPI 分层结构,职责划分清晰:

app/
├── core/               # 全局配置、TTS/LLM 引擎、ffmpeg 封装、字幕生成、异步队列
├── db/                 # 数据库连接
├── models/             # ORM 模型
├── dto/                # 请求/响应验证
├── repositories/       # 数据库封装
├── services/           # 核心业务逻辑
├── routers/            # 路由接口
└── main.py             # 启动入口

4.4 启动前端

cd sonicvale-front
npm install
npm run start   # 会同时拉起 Electron 桌面端

看到桌面窗口弹出,部署就算完成了。

五、全流程实操:从小说文本到成品配音

5.1 配置 LLM 接口

进入「配置中心」,填入兼容 OpenAI 协议的接口地址与 API Key:

LLM 配置界面

5.2 配置 TTS 服务

接着配置 IndexTTS-2 语音合成服务,支持云端 H20 显卡算力方案:

TTS 配置界面

5.3 管理音色库

在音色管理界面录入和整理可用音色。绑定的音色决定角色"声音长什么样",情绪向量决定"用什么语气说",两者配合才有自然的多角色听感:

音色管理界面

5.4 创建项目、导入章节

先创建一个配音项目,再在项目下创建章节:

项目创建界面

把整章小说文本导入或粘贴进章节内容:

章节内容导入

5.5 台词自动拆分

点击「LLM 拆分为台词」,模型会把整章文本按对话和旁白拆成一句句台词。如果默认拆分不符合你的文本习惯,还可以自定义提示词,适配个性化拆分需求:

台词自动拆分

5.6 角色绑定与情绪设定

在角色库中把台词绑定到具体角色,多章节共享角色音色,一次绑定全本生效。每句台词都可以单独调整:文本内容、角色归属、情绪类型、情绪强度,修改后自动保存并更新:

角色绑定与台词编辑

5.7 批量生成、编辑与导出

一键批量生成整章音频,生成后还能二次编辑——删除音频片段、插入静音片段,句子级可单独调节语速与音量,最后导出配音与字幕:

配音生成

最终成品效果:

成品配音效果

六、避坑清单(FAQ)

Q1:后端启动报错找不到 ffmpeg?

确认 ffmpeg.exe 的位置是 app/core/ffmpeg/ffmpeg.exe,注意是把 exe 文件放进该目录,不是把解压出来的整个文件夹丢进去。

Q2:LLM 接口怎么选?

只要兼容 OpenAI API 协议的服务都可以接入。台词拆分质量与模型的指令遵循能力直接相关,建议选择能力较强的模型,并在自定义提示词里明确角色命名和旁白处理规则。

Q3:没有独立显卡,能用 TTS 吗?

可以。官方方案是通过 Cloud Native Build 平台调用 H20 显卡跑 IndexTTS-2,本地部署整合包则适合有显卡的环境。

Q4:台词拆分不准确怎么办?

利用自定义提示词能力,在拆分前明确角色命名规则、旁白与对话的区分方式,复杂文本(多角色混排、系统提示音)的拆分效果会明显提升。

Q5:生成的音频还能再改吗?

可以。生成后进入音频编辑,支持删除音频片段、添加静音片段,精细调整后再生效导出。

Q6:能商用吗?

项目采用 AGPL-3.0 协议:修改后发布或以网络服务形式提供,必须同时公开修改后的源代码。另外官方免责声明明确要求仅供学习研究使用,不得克隆或模仿未经授权的声音,不得侵犯他人声音权、肖像权与著作权。

七、总结

  • 音谷把「长文本 → 多角色多情绪配音」整条链路做成了桌面应用,LLM 台词拆分 + IndexTTS-2 情绪合成是核心竞争力;
  • 部署有两条路:整合包开箱即用,源码部署注意 ffmpeg 的固定路径 app/core/ffmpeg/;
  • LLM 与 TTS 都是外挂服务:兼容 OpenAI 协议的模型 + 云端 H20 显卡算力,普通电脑也能跑完整流程;
  • 台词拆分支持自定义提示词,旁白混排的复杂文本也能拆干净;
  • 生成结果支持句级编辑、静音插入与字幕导出,后处理不用换工具;
  • 使用时遵守 AGPL-3.0 协议与官方免责声明。

写在最后

更详细的使用文档见官方飞书教程。遇到 Bug 或功能建议,建议通过 GitHub Issues 反馈,用户交流方式也可以在仓库 README 中查看。

评论区聊聊:你最想给哪部小说配上多角色语音?

來源:阿里雲開發者社區 AI · developer.aliyun.com