关于预训练的数据集

[linwhitehat]

关于预训练的数据集

[wyx502]

作者您好，我找到了您发布的上图，想确认下是15G的公开数据集吗？另外，还想问一下4.3G的encrypted_traffic_burst.txt文件是30G的数据生成的吗？谢谢。

[linwhitehat]

1，预训练的数据集中选取是没有什么加入约束的，因此可以使用尽可能丰富的协议流量进行替代。
2，encrypted_traffic_burst.txt是基于预训练数据生成的

[wyx502]

抱歉再次打扰，我想问一下，您在主页的readme提到用vocab_process/main.py生成corpora，在data_process的readme中又提到pre-training stage用data_generation生成burst，哪个才是能够生成encryted_traffic_burst.txt的方法呢。因为我发现这两个都能生成txt文件。您能否再详细说明一下呢，谢谢。

[linwhitehat]

抱歉再次打扰，我想问一下，您在主页的readme提到用vocab_process/main.py生成corpora，在data_process的readme中又提到pre-training stage用data_generation生成burst，哪个才是能够生成encryted_traffic_burst.txt的方法呢。因为我发现这两个都能生成txt文件。您能否再详细说明一下呢，谢谢。

你好，data_process中是生成用于预训练corpora所需的流量burst数据，然后由vocab_process生成相应的corpora，可以把这两部分理解为流量数据预处理和预训练数据生成的过程。