Comments (6)
听了你给的训练语料中的句子,感觉句子中有很多的停顿,不知道对应的文本中,停顿的地方有加标点符号?
- trim_top_dp,你可以设定不同的值,然后分别把mel图画出来,人工挑选(首尾最好没有静音或者很短)
- 吞音的问题,感觉跟你的训练数据有关。因为你的每个句子中有很多停顿(建议利用相关的工具,将一个句子分割成多个句子)
- 训练步数越大,模型越倾向于 过拟合,不是步数越大越好,因为你的训练集很小
wavernn将mel频谱合成wav,你可以参照master分支中的步骤。你如果需要合成你自己训练集中的音色,在finetune完tacotron后,还需要finetune wavernn。
如果从头开始训练tacotron等,关于数据量,起码要覆盖大部分的声韵母。数据量我也不太清楚,你可以先用的数据试试。
嗯嗯,推荐你用类似fastspeechV2 等非自回归模型,我这边可以只用10句新说话人的数据就能克隆出其音色。
from tacotronv2_wavernn_chinese.
我之前主要做NLP,没搞过语音,还在学习中,感谢你的耐心回复(^o^)/~
关于语料的问题,我其实特地找了几个比较长的句子让你听,平均的长度其实比较短的没这么长,停顿的地方都有标点的,但是我感觉声优的说话方式和标准数据集里的还是不太一样,感觉他每次读到逗号或者句号的地方声音都会变轻(就是特别的抑扬顿挫,但是标准数据集里一般声音都比较平),停顿也比标准数据集里要长,我是不是应该把一个逗号或者句号改成两个逗号或者句号训练会好一些?
trim_top_dp 这个参数我回头再试一试调整一下~
另外你提到的这个fastspeech2,之后打算开源中文版的吗?期待一下~如果不打算开源的话,能贴一下你参考的repo吗?我之后也打算学习一下。
谢谢♪(・ω・)ノ
from tacotronv2_wavernn_chinese.
停顿的地方对应的标点符号repeat,你可以试试。
不好意思,fastspeech代码还不能开源。
from tacotronv2_wavernn_chinese.
@lturing 请问是否方便指点一下fastspeechV2极少数据克隆音色的思路,我理解需要至少需要所有韵母+音调组合才能合成,谢谢!
听了你给的训练语料中的句子,感觉句子中有很多的停顿,不知道对应的文本中,停顿的地方有加标点符号?
1. trim_top_dp,你可以设定不同的值,然后分别把mel图画出来,人工挑选(首尾最好没有静音或者很短) 2. 吞音的问题,感觉跟你的训练数据有关。因为你的每个句子中有很多停顿(建议利用相关的工具,将一个句子分割成多个句子) 3. 训练步数越大,模型越倾向于 过拟合,不是步数越大越好,因为你的训练集很小
wavernn将mel频谱合成wav,你可以参照master分支中的步骤。你如果需要合成你自己训练集中的音色,在finetune完tacotron后,还需要finetune wavernn。
如果从头开始训练tacotron等,关于数据量,起码要覆盖大部分的声韵母。数据量我也不太清楚,你可以先用的数据试试。
嗯嗯,推荐你用类似fastspeechV2 等非自回归模型,我这边可以只用10句新说话人的数据就能克隆出其音色。
from tacotronv2_wavernn_chinese.
fastspeechv2实现音色克隆,你可以先用thchs30(中文多人语音数据集)或者vctk(英文多人语音数据集)训练一个多说话人的fastspeech,作为预训练的模型,然后再用少量的新说话人finetune模型。@blackeyecircles
from tacotronv2_wavernn_chinese.
非常感谢,我学习和尝试一下这个的实现,感谢提供思路!
from tacotronv2_wavernn_chinese.
Related Issues (20)
- 如何增加symbol? HOT 1
- 推理多路并发 HOT 2
- 关于使用tacotron2训练过拟合的问题,wavernn调用的问题 HOT 1
- 关于wavernn preprocess 的语料准备 HOT 2
- 分享一下音色finetune的结果 HOT 3
- 如何加载 gmm attention HOT 1
- 尝试生成训练数据,运行python tacotron_preprocess.py HOT 1
- 无法使用gpu训练 HOT 1
- speaker adaptive 微调参数 HOT 1
- 您好,请问有测试过合成声音的实时性吗? HOT 3
- finetune训练速度比较慢 HOT 1
- 关于“align.png”问题 HOT 1
- 对齐图错位问题 HOT 3
- 请问预测阶段的batch_size如何调大,以及对应的预测数据如何调整呢,谢谢 HOT 1
- where is the docker images? HOT 1
- tacotron_synthesize.py 生成梅尔频谱需要两秒到三秒,请问Tacotron2是不是比较慢,还是其他调参的原因? HOT 1
- 关于graves attention如何修改architecture_wrappers.py的问题 HOT 2
- 生成不完整 HOT 1
- 关于路径配置问题 HOT 3
- 请教下,怎么生成16000 Hz的wav? HOT 4
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from tacotronv2_wavernn_chinese.