birdstar/ai-digital-human

AI-Digital-Human

鸽子：6 月下旬出教程，放代码。

先把用到的开源项目整理出来，一键安装包、详细的教学 ，放到后面发布的视频里讲解。

视频教程：

第一期（vits语音合成，一键训练启动包）：

https://www.bilibili.com/video/BV1K94y1k7Bw/

第二期（特定场景GPT）：

https://www.bilibili.com/video/BV1Gw411T7fb

1、图像超分辨率重建

针对人脸修复效果较好的是 CodeFormer，“鲁迅”那期视频，就是使用该技术创建的虚拟人物。

https://github.com/sczhou/CodeFormer

2、大语言模型

大语言模型可以使用开源的 ChatGLM2-6B，官方也开源了 finetune 代码。

https://github.com/THUDM/ChatGLM2-6B

“鲁迅”那期视频所使用的模型为非开源的，所以这里可以使用 ChatGLM2-6B 代替，效果是一样的。

3、声音模型

将大语言模型生成的文本，转成音频，可以使用某个人的干声数据做训练，最好能有 1 个小时的数据，音频质量也要好，训练的效果不会差。

https://github.com/jaywalnut310/vits

4、画面驱动

最后就是使用大语言模型生成的文本转成的音频，驱动修复后的高清图片，可以使用的开源项目是 SadTalker。

https://github.com/OpenTalker/SadTalker

“鲁迅”那期视频使用的一个画面驱动算法是非开源的，所以这里用 SadTalker 进行了替代，效果可能会差一丢丢。

5、可视化交互页面

我互动的可视化页面，是使用 gradio 做的，填充框架的内容即可，这个相对简单。

https://github.com/gradio-app/gradio

第一期教学视频，正在做呢，还没做完，赶进度中...

对不住，鸽了一段时间，实在太忙。因为内容较多，涉及：图片生成/修复、大模型训练、语音合成、画面驱动。一期视频搞不定，我决定弄成系列的，更新速度经常打脸，我就努力继续更吧。