tts-with-rvc 0.1.9
TTS-WITH-RVC (带RVC的文本到语音)是一个软件包,旨在通过引入RVC模块来增强文本到语音(TTS)系统的功能。该软件包使用户不仅可以将文本转换为语音,还可以根据RVC支持的偏好来个性化和自定义语音输出。
需要带有CUDA或MPS的Pytorch才能获得TTS-RVC工作。
它可能包含错误。报告错误的问题。
发行说明
0.1.9- 2025年3月31日:一些小修复程序,修复了Linux的Fairseq安装。
0.1.8- 2025年3月30日:添加了所有RVC参数,实现的FCPE支持,添加了PYPI安装支持,使用RMVPE仅F0方法修复了错误。
0.1.6- 2025年3月28日:更新了所有文件,其中最新的RVC提交-1.5-2倍的推理速度1.5-2倍。减少所需的包装。在这里支持。
0.1.5- 2025年2月21日:删除了所有不必要的软件包,删除了rvc_path ,添加了f0_method以进行更多控制。
0.1.4- 2024年11月22日:添加了index_path和index_rate参数,以更多地控制基于索引的语音转换。
0.1.3-解决了很多问题,有些优化。
先决条件
您必须安装Python <= 3.12 (建议3.12,大部分在3.10上进行测试)。
您必须为您的GPU提供CUDA或MPS支持(MPS尚未测试)。否则,它将使用CPU,这非常慢。
安装
-
在此处安装带有CUDA或MPS支持的Pytorch:https://pytorch.org/get-started/locally/
-
然后,使用PIP安装安装TTS-WITH-RVC:
pip install tts-with-rvc
- 最后,如果您还没有一个,则安装FFMPEG,并使用脚本将其添加到文件夹中,或者更好,或者更好地将FFMPEG添加到
Path中的Environment variables中。
它如何工作
- 文本到语音(TTS):用户将文本输入TTS模块,然后将其处理并生成相应的语音作为保存在temp Directory中的文件
- RVC:提供.pth文件后,RVC模块读取生成的音频文件,对其进行处理并生成一个新的音频,该音频保存在output_directory中并更换了语音。
用法
tts-with-rvc有一个称为TTS_RVC的类。需要一些参数:
model_path通往.pth模型的路径
和可选参数:
voice – edge-tts列表中的声音(默认是“ ru-ru-dmitryneal”)
device – 设置设备(“ CPU”,“ CUDA:0”,“ MPS:0”,默认为“ CUDA:0” )
tmp_directory通往TTS输入目录的路径(用于保存TTS输出的临时目录,默认为temp文件夹)
output_directory保存声音音频的目录( temp/默认值)。
index_path语音模型调整的文件索引路径(默认为空字符串\"\" )。
index_rate原始语音转换和索引语音转换之间的混合速率(默认为0.75 )。
f0_method计算音频音调的方法(默认为rmvpe )。可用:\’rmvpe\’,\’fcpe\’(仅FP32),\’pm\’,\’carvest\’,\’dio\’,\’crepe\’。
弃用:
input_directory通往TTS输入目录的路径(用于保存TTS输出的临时目录,默认为无)
要设置语音,首先,使tts_rvc的实例:
from tts_with_rvc import TTS_RVC tts = TTS_RVC ( model_path = \"models \\\\ YourModel.pth\" , index_path = \"logs \\\\ YourIndex.index\" , f0_method = \"rmvpe\" )
voices.txt文件中放置的所有声音:
由于问题, tts.get_voices()无限期地禁用
接下来,使用tts.set_voice()函数设置tts的语音:
tts . set_voice ( \"un-Un-SelectedNeural\" )
如果您使用其他语言来配音,则需要设置适当的语言!
最后一步是调用tts替换语音:
path = tts ( text = \"Привет, мир!\" , pitch = 6 , index_rate = 0.50 )
参数:
text – tts的文字(必需)
pitch – 半音中RVC的音高更改(可选,neg。值兼容,默认值为0)
tts_rate边缘tts以百分比(+ – )的额外语音率(可选,neg。值兼容,默认值为0)
tts_volume边缘tts以百分比(+ – )(可选,neg。值兼容,默认值为0)的额外语音量
tts_pitch hz(+ – )中TTS生成音频的额外音调(可选,neg。值是兼容的,不建议,默认值为0)
output_filename输出文件的名称(可选,默认值None ,生成唯一名称)
index_rate原始语音转换(0至1)之间的混合速率(可选,默认值为0.75 )。
is_half确定RVC推理的半精确。是还是错。 (可选,默认值为True )。
f0method -F0提取方法用于此特定调用,覆盖实例默认值:\’rmvpe\’,\’fcpe\’(仅FP32),\’pm\’,\’harvest\’,\’harvest\’,\’dio\’,\’crepe\’。 (可选,默认使用实例设置)。
file_index2 RVC的辅助索引文件的路径。 (可选,默认值为空字符串\"\" )。
filter_radius螺距结果的中值过滤器半径。值> = 3降低呼吸。 (可选,默认值为3 )。
resample_sr样本速率将音频重新采样到RVC之前。 0意味着没有重新采样。 (可选,默认值为0 )。
rms_mix_rate音量信封缩放(0-1)。较低的值模仿原始体积。 (可选,默认值为0.5 )。
protect – 保护无声辅音和呼吸(0-1)。较低的值增加保护。 0.5禁用。 (可选,默认值为0.33 )。
verbose – 启用详细记录以进行RVC转换。 (可选,默认值为False )。
用法的示例
表达文本的一个简单示例:
from tts_with_rvc import TTS_RVC from playsound import playsound tts = TTS_RVC ( model_path = \"models \\\\ DenVot13800.pth\" , index_path = \"logs \\\\ added_IVF1749_Flat_nprobe_1.index\" ) tts . set_voice ( \"ru-RU-DmitryNeural\" ) path = tts ( text = \"Привет, мир!\" , pitch = 6 , index_rate = 0.9 ) # Normalize path for playsound if needed (example) # path = path.replace(\"\\\\\\\\\", \"/\").replace(\"\\\\\",\"/\") playsound ( path )
文本参数
有一些用于集成问题的文本参数处理器,例如添加GPT模块。
您可以使用TTS_RVC类中的process_args处理它们:
--tts-rate (value) -TTS参数编辑语音速率(降低率的负值和增加速率的正值)
--tts-volume (value) -TTS参数编辑语音量(减少体积的负值和增加体积的正值)似乎由于RVC模块的转换而行不通。
--tts-pitch (value) -TTS参数编辑TTS生成音频的音调(减小音高的负值和增加音高的正值) ,我不建议使用此功能,因为RVC模块具有自己的输出pitch 。
--rvc-pitch (value) -RVC参数编辑输出音频的音调(减小音高的负值和增加音高的正值)
现在的工作原则:
from tts_with_rvc import TTS_RVC tts = TTS_RVC ( model_path = \"models \\\\ YourModel.pth\" ) # This method returns arguments and original text without these text parameters args , message = tts . process_args ( message )
args变量包含一个具有以下结构的数组:
args[0] -tts速率
args[1] -tts卷
args[2] -tts音高
args[3] -RVC音高
现在,我们准备将其用于生成:
path = tts ( message , tts_rate = args [ 0 ], tts_volume = args [ 1 ], tts_pitch = args [ 2 ], pitch = args [ 3 ])
方法
set_index_path(index_path) – 为语音模型调整更新索引文件的路径。
voiceover_file(path) – 旁白在没有TT的指定路径处的文件。
例外
- 名称:
NameError: name \'device\' is not defined
确保您的设备支持CUDA,并安装了正确版本的火炬。
- RuntimeError:
RuntimeError: Failed to load audio: {e}
确保您安装了ffmpeg 。
致谢
RVC项目 – 用于RVC
执照
麻省理工学院许可证
作者
ATM4X(Artem Dikarev)
