Amphion:实现AI转语音、声音和歌唱功能。
Amphion:是一个开源工具包,可实现语音、声音和歌唱功能,将一首歌的声音换成另一个歌手的声音。还支持声音转换、歌声合成、文本到音频、文本到音乐等功能。
github地址:github.com/suaifu/gpfuAmphion
主要功能
1、文本到语音:将文本转换为口语化的语音。
- 应用:用于制作语音助手、自动语音回复系统、为视障人士阅读文本等。
2、歌声合成:创造虚拟歌手的声音,可以从文本或旋律生成明星的歌声。
- 应用:用于音乐制作、虚拟偶像创作等。
3、声音转换:改变一个人的声音,使其听起来像另一个人。
- 应用:用于娱乐、声音设计、匿名通信等。
4、歌声转换:将一首歌的演唱者的声音转换成另一个演唱者的声音。
- 应用:用于音乐制作、个性化音乐体验等。
5、文本到音频:不仅将文本转换为语音,还可以转换成其他类型的音频,如音效或音乐片段。
- 应用:用于创造音效、音乐片段、音频故事等。
6、文本到音乐:从文本描述中生成音乐。
- 应用:用于自动音乐创作、根据情感或故事情节创作音乐等。
模型支持:该工具包支持多种模型和架构,如FastSpeech2、VITS、Vall-E、NaturalSpeech2等,用于不同的音频生成任务。
声码器支持:Amphion 支持多种神经声码器,包括基于GAN的声码器(如MelGAN、HiFi-GAN)、基于流的声码器(如WaveGlow)、基于扩散的声码器(如Diffwave)等。
数据集支持:Amphion 统一了开源数据集的数据预处理,支持多种数据集,如AudioCaps、LibriTTS、LJSpeech等。