EduToons ：AI驱动的教育动画平台
学术研究项目
EduToons是一个创新的电子学习平台，它将传统的教材转换为使用高级AI技术的动画内容。该研究项目解决了通过整合语音克隆和动画技术来维持年轻学习者对在线教育的兴趣的挑战。
研究目标
- 开发一个AI驱动的系统来创造互动和引人入胜的学习体验
- 将传统的教学内容转换为基于动画角色的课程
- 实施语音克隆技术以表达真实的角色
- 使用实时问答功能创建互动学习环境
?技术实施
语音转换系统
- RVC模型：利用基于检索的语音转换进行语音转换
- 休伯特集成：实现特征提取的隐藏单位BERT模型
- 性能指标：
- 客观指标：
- log（F0）的RMSE（logf0_rmse）
- 平均MCEP
- 主观指标：
- 平均意见分数（MOS）
- 客观指标：
视频处理管道
- 运动捕获：用于姿势估计和地标检测的媒介管
- 3D动画：字符索具和动画的搅拌机集成
- 字符渲染：无缝角色动画的自定义管道
Web平台体系结构
- 前端：next.js
- 身份验证：店员
- 数据库：用于数据管理的MySQL
- 后端：基于烧瓶的API服务
实验结果
数据集特性
- 定制创建的教育视频数据集
- 持续时间：每个视频10-20秒
- 专注于全身可见性和简单的动作
- 内容：儿童的教育课程和故事
绩效评估
-
动画实际上会帮助儿童吗？ ：
- 调查：由于时间限制，我们无法在当地学校进行实验研究。相反，我们调查了兄弟姐妹。尽管有潜在的偏见，但他们还是对卡通角色教学和回答问题的概念充满热情。
-
语音转换质量：
- logf0_rmse：0.2
- MOS量表（调查）：4.1
- 有关语音转换的更多详细信息，请阅读此处。
技术堆栈
语音处理工具
- Google Colab（模型培训）
- FFMPEG（音频处理）
- RVC（语音转换/克隆）
- 休伯特（特征提取）
动画工具
- Mediapipe（姿势检测）
- 搅拌器（3D动画）
- 精确（字符索具）
- Blendarmocap（运动捕获）
网络开发
- next.js（前端框架）
- 尾风CSS（造型）
- 烧瓶（后端API）
- mysql（数据库）
- git（版本控制）
?学术参考
- Xiao，L。“教育的动画趋势”。国际信息与教育技术杂志
- Hsu，W。等。 “休伯特：通过掩盖隐藏单位的掩盖预测，自我监督的语音表示学习。” IEEE/ACM交易
- Leng，Y。等。 “ MBNET：具有平均偏置网络的合成语音的MOS预测。” ICASSP 2021
- Akhter，M。等。 “语音转换模型的性能评估指标的分析。” 2022年IEEE 19th印度理事会国际会议（Indicon）。 IEEE，2022年。
未来的发展
-
平台扩展
- 阿拉伯语和英语以外的其他语言支持
- 增强的互动功能
- 与现有LMS平台集成
-
技术改进
- 可伸缩性优化
- 性能增强
- 实时处理功能
引用
如果您在研究中使用这项工作，请引用：
EduToons2024,
title={ EduToons : AI-Driven Educational Animation Platform},
authors={[Mohamed Ashraf Mohamed,
Mohamed Ashraf AbdElnabi,
Youssef Mohamed AbdElaal,
Youssef Shehata Shaaban,
Saif Adel AbdElghany,
Samy Ahmed Samy,
]},
year={2024}
}\”>
@article { EduToons 2024 , title = { EduToons : AI-Driven Educational Animation Platform } , authors = { [Mohamed Ashraf Mohamed, Mohamed Ashraf AbdElnabi, Youssef Mohamed AbdElaal, Youssef Shehata Shaaban, Saif Adel AbdElghany, Samy Ahmed Samy, ] } , year = { 2024 } }
?致谢
这项研究是作为Ain Shams大学毕业项目的一部分进行的。特别感谢为这项工作做出贡献的教师顾问和研究参与者。
?许可证
该项目是根据MIT许可证获得许可的 – 有关详细信息，请参见许可证文件。
