基于NLP的多任务分析和TTS-RVC集成
该项目实现了多任务NLP管道,以进行主题分类,情感分析和土耳其对话数据的摘要。它还集成了TTS(文本到语音)和RVC(基于检索的语音转换)管道,以通过语音调制将摘要转换为语音。
?目录
- 特征
- 要求
- 安装
- 项目结构
- 用法
- 多任务NLP管道
- TTS和RVC语音转换
- 型号
- 数据集
- 笔记
- 执照
特征
- 多任务NLP管道
- 主题分类
- 情感分析(零射 +基于单词)
- 对话的摘要
- TTS和RVC集成
- 使用TTS将汇总文本汇总为语音
- 使用RVC调节语音
- Gradio UI
- 交互式选项卡用于分析和音频生成
?要求
- Python 3.10
- 兼容CUDA版本(可选)
- Visual Studio构建工具:
- MSVC V142 -VS 2019 C ++ X64/X86构建工具
- Windows 10 SDK
- C ++ CMAKE工具
- NVIDIA GPU与CUDA(推荐)
安装
# Step 1: Create virtual environment python -m venv .venv # Step 2: Activate # Linux/Mac: source .venv/bin/activate # Windows: .venv \\S cripts \\a ctivate # Step 3: Install dependencies pip install -r Requirements.txt
?项目结构
project-root/
│
├── methods/
│ └── topic_sentiment_summarization.py
│
├── tts_rvc_logic.py
├── tts_rvc_ui.py
├── Requirements.txt
├── .gitignore
└── README.md
配x排除在存储库中:
datasets/→请检查?数据集部分models/local_models/→从拥抱脸上下载rvc_models/→.pth文件(手册)outputs/→生成结果
用法
?多任务NLP管道
python methods/topic_sentiment_summarization.py
- 输入:自定义JSON数据集
- 输出:
multitask_output.json,summarized_output.json在outputs/
tts和RVC语音转换
python tts_rvc_ui.py
- 数据集分析选项卡:上传对话json
- 语音转换选项卡:选择RVC型号,调整音调,生成音频
?型号
| 任务 | 模型 | 关联 |
|---|---|---|
| 主题分类 | bert-topic-classification-turkish |
拥抱脸 |
| 情感分析 | xlm-roberta-large-xnli |
拥抱脸 |
| 文本到语音 | facebook/mms-tts-tur |
拥抱脸 |
| RVC模型 | .pth文件 |
手动下载,放置在rvc_models/文件夹中 |
- RVC样本模型:
-
rvc_models/.pth语音转换模型包含。 - 您可以用自己的型号替换它。
-
?数据集
该数据集托管在Kaggle上:
?从Kaggle下载
预期格式:
[
{
\"conversation_id\" : 1 ,
\"category\" : \" Finansal Hizmetler \" ,
\"speaker\" : \" customer \" ,
\"text\" : \" Merhaba, son satın alımımla ilgili bir faturalama sorunum var. Sipariş numaram BB987654321. Tahsil edilmesi gereken 50 $ yerine 75 $ ödedim. \"
},
{
\"conversation_id\" : 1 ,
\"category\" : \" Finansal Hizmetler \" ,
\"speaker\" : \" representative \" ,
\"text\" : \" Bu durumu duyduğuma üzüldüm. Hesabınıza bir göz atacağım ve sorunu çözmeye çalışacağım.(Temsilci araştırma yapar) \"
},
{
\"conversation_id\" : 1 ,
\"category\" : \" Finansal Hizmetler \" ,
\"speaker\" : \" representative \" ,
\"text\" : \" Siparişinizi inceledim ve faturalama hatası buldum. Özür dilerim. Fark tutarını iade edeceğim ve iadeniz önümüzdeki 3-5 iş günü içinde hesabınızda olacak. \"
},
{
\"conversation_id\" : 1 ,
\"category\" : \" Finansal Hizmetler \" ,
\"speaker\" : \" customer \" ,
\"text\" : \" Evet, bu kabul edilebilir. Teşekkür ederim. \"
},
{
\"conversation_id\" : 1 ,
\"category\" : \" Finansal Hizmetler \" ,
\"speaker\" : \" representative \" ,
\"text\" : \" İadenizi işlemek için kredi kartınızın son dört hanesine ihtiyacım var. \"
}
]
笔记
- 所有必要的模型必须从拥抱面中手动下载并放置在正确的文件夹中(
models/,local_models/,rvc_models/)。 - 输出文件(例如
.json和.wav或.mp3)在运行管道时将自动生成。 - 由于实际和尺寸相关的原因,数据集,模型和输出被排除在此存储库中。您可以从Kaggle链接访问数据集,并从“模型”部分下载模型。
?许可证
该项目已根据MIT许可获得许可。有关详细信息,请参见许可证文件。
