18239256/wav2lip_train

WaveLip 训练模型代码

##Wav2Lip Wav2Lip 是一种基于对抗生成网络的由语音驱动的人脸说话视频生成模型。如下图所示，Wav2Lip的网络模型总体上分成三块：生成器、判别器和一个预训练好的Lip-Sync Expert组成。网络的输入有2个：任意的一段视频和一段语音，输出为一段唇音同步的视频。生成器是基于encoder-decoder的网络结构，分别利用2个encoder: speech encoder, identity encoder去对输入的语音和视频人脸进行编码，并将二者的编码结果进行拼接，送入到 face decoder 中进行解码得到输出的视频帧。判别器Visual Quality Discriminator对生成结果的质量进行规范，提高生成视频的清晰度。为了更好的保证生成结果的唇音同步性，Wav2Lip引入了一个预预训练的唇音同步判别模型 Pre-trained Lip-sync Expert，作为衡量生成结果的唇音同步性的额外损失。

本项目本质是在训练好的数据上做finetune，让你可以用自己的唇形数据 ###1. 环境的配置 1.建议准备一台有显卡的linux系统电脑

2.Python 3.6 或者更高版本

ffmpeg: sudo apt-get install ffmpeg

3.必要的python包的安装，所需要的库名称都已经包含在requirements.txt文件中，可以使用 pip install -r requirements.txt一次性安装.

4.在本实验中利用到了人脸检测的相关技术，需要下载人脸检测预训练模型：Face detection pre-trained model 并移动到 face_detection/detection/sfd/s3fd.pth文件夹下.

5.分别参考两个项目的代码来生成自己的代码： 一个是官方代码

git clone https://github.com/Rudrabha/Wav2Lip

一个是gitee上的项目，建议在开发时可以下载下来看看不同点

git clone https://gitee.com/sparkle__code__guy/wave2lip

###2. 训练前准备工作

1. 下载权重文件到checkpoints目录下,可以自行下载

模型	描述	下载链接
Wav2Lip	Highly accurate lip-sync	wavlip

| | Wav2Lip + GAN |Slightly inferior lip-sync, but better visual quality |wavlip+GAN| | Expert Discriminator |Weights of the expert discriminator |Expert Discriminator|

2. 下载人脸识别的pre-trained model 到face_detection/detection/sfd/s3fd.pth下。如果不能下载试试这个链接

###3. 准备数据 准备自己的视频数据,至少要5个视频，视频中有明显的人的口型和声音。放入data/original_data目录下

###4.预处理数据

python preprocess.py --ngpu 1 --data_root E:/Projects/wav2lip_train/data/original_data --preprocessed_root E:/Projects/wav2lip_train/data/preprocessed_root --batch_size 8

data_root为原始视频地址，preprocessed_root为处理完的视频存放的位置 获取对应的文件列表并更新到filelists/train.txt和filelists/eval.txt。只保存对应的视频名称即可。

from glob import glob
import shutil,os
result = list(glob("/home/guo/wave2lip/wave2lip_torch/Wav2Lip/data/preprocessed_root/original_data/*"))
print(result)
result_list = []
for i,dirpath in enumerate(result):
    shutil.move(dirpath,"./data/preprocessed_root/original_data/".format(i))
    result_list.append("{}".format(i))
print("\n".join(result_list))

###5.训练 执行下面的命令进行训练

python wav2lip_train.py --data_root ./data/preprocessed_root/data --checkpoint_dir ./savedmodel --syncnet_checkpoint_path ./checkpoints/lipsync_expert.pth

###6.模型预测

python inference.py --checkpoint_path ./savedmodel/checkpoint_step000000001.pth --face ./input/test.mp4 --audio ./input/audio.wav --out-file ./output

———————————————— ####参考文档 CSDN博主「会发paper的学渣」的原创文章 ,遵循CC 4.0 BY-SA版权协议