convo人类机器人和虚拟数字人类的企业级配音机器人
convo在本地工作，它是免费的
convo Birngs将Silero和Rasa融合在一起，创造了诸如Alexa或Google Dot之类的持续言语对话主义经验。
-
Silero STT和TTS模型提供了与Google STT相当的质量（有时甚至更好），但它们不是Google。请参阅Silero性能基准
-
RASA是一种企业级聊天机器人，基于Python和基于变形金刚的语言模型，提供最新的框架可比或比基于顶级云的聊天机器人框架可比性或更好
convo可以在本地基于CPU的机器上轻松运行，因此convo以无云服务成本提供了很高的响应时间。
典型的STT和TTS推理时间在本地机器上的一句话小于0.5秒，RASA bot响应时间约为1-2秒。通过微调和使用专用的机器，可以进一步改善这一点。
用户讲话需要一段时间， convo要播放响应音频。这不算作convo或任何其他语音机器人的处理时间。
convo优势：
- 高性能作为该框架可以在CPU上本地运行；
- 没有云指控，因此可以为群众实施。
- 可以使用RASA自定义操作服务器高度自定义来添加任何所需的功能；
- 可以支持Silero模型支持的多种语言
convo不使用任何热词检测机制，但是它可以通过扬声器要求使用stop / Quit / exit等关键字来停止说话。
安装和基础知识
有2个基本软件 /框架需要安装来设置convo
- 拉萨
- Silero
RASA安装步骤
-
创建一个名为“ RASA”的Python虚拟环境，并在此处使用RASA安装中提到的合适的Python版本。当前的RASA版本3.x需要Python 3.7或3.8。在遵循以下安装步骤之前，启用RASA虚拟环境。
-
使用以下命令安装RASA
pip install --upgrade pip
pip install rasa
- 在终端上运行“ rasa Init”。请按照屏幕说明完成创建RASA ChatBot实例。
rasa init
- 安装了RASA聊天机器人实例后，您可以通过运行RASA shell检查它是否正常工作，该RASA shell可以在命令行上与助手交谈。注意 – 将目录更改为您的RASA实例，然后在下面运行命令。
rasa shell
这将运行RASA服务器，并让您在终端上与之聊天。请输入“/停止”以停止RASA服务器。
- 我们将使用REST API调用来调用此RASA聊天机器人。当我们想与Rasa Chatbot进行交流时，我们需要使用RASA使用
rasa run --enable-api
Silero安装步骤
-
创建一个名为“ Silero”的Python虚拟环境，并具有最新的Python版本
-
运行Silero有很多依赖关系。我们将按照以下步骤进行操作
-
使用https://p*yto*rch*.org/get -started/locally/上的说明安装pytorch-如果仅在Windows＆CPU上，则此命令可能看起来像下面。使用适当的命令行进行机器配置。
pip install torch torchvision torchaudio
- 此外，我们需要以下python软件包
pip install PySoundFile SpeechRecognition omegaconf
语音识别是一种包装自由主义者，允许使用包括Google Cloud语音在内的多个ASR服务进行语音识别。我们只会使用此自由活动来捕获和记录音频，因为它提供了检测语音活动并在用户停止讲话时结束麦克风记录。
- 我们还需要安装Pyaudio。在Windows 10-11上，您可能会遇到安装Pyaudio的错误。在这种情况下，请使用以下命令安装Pyaudio。
pip install pipwin
pipwin install pyaudio
- convo使用来自Silero的进口量已包含在此存储库中。请检查确保Silero型号和Utils在正确的位置
这样我们就完成了安装步骤。现在，尝试使用Silero虚拟环境在终端中运行convo .Py，您应该能够与计算机交谈。
python convo .py
首次运行convo时，它将下载Silero模型以缓存。下载进度将显示在输出终端中。在随后的运行中，它将使用局部缓存的型号，该模型将很快。
故障排除提示
如果您无法与计算机交谈，请尝试检查以下点
- 请检查您的麦克风和扬声器是否已启用。在窗户上，您可能还需要检查权限等。
- 请检查所有提到的自由派是否正确安装了，您正在自己的虚拟环境中同时运行Silero和Rasa
- 请检查是否使用“ Rasa Run-enable-api”从RASA Bot目录内部运行RASA服务器，并说RASA服务器正在运行并运行
- 标准笔记本电脑麦克风通常不会具有很高的质量，可能会影响语音识别质量。尝试提高麦克风输入音量水平，或尝试使用质量更好的麦克风。
- 如果您在虚拟环境中安装时遇到了一些兼容性错误，则可能需要删除并重新创建它们
- 将来可能会发生变化的自由派或兼容性，请检查是否有此类问题。
引用
此存储库以2个伟大的软件为基础
-
https://gith*ub.*co*m/rasahq
-
https://git*hu*b*.com/snakers4/silero-models
未来的增强
该回购介绍了convo的基本工作实施。这可以在许多方面进一步增强。下面提到了一些增强功能
- 在chitchat，常见问题和自定义API调用等RASA中添加更多功能
- 添加更多语言和演讲者
- 在音频的瞬间处理中表演
反馈和参考
- 如果您遇到任何问题或有建议，请在问题部分中提及
- 如果您喜欢此仓库和/或能够在您的工作中使用它，请考虑在您的ciations中出演和提及此仓库
