下载完数据集应该怎么预处理

[ReverseSystem001]

下载完数据集应该怎么预处理

[shjwudp]

@ReverseSystem001 你好，欢迎提问，我没有在知乎上讲过这个repo，好奇你讲的清洗流程是哪篇文章。

书籍内容清洗不在这个仓库的工作范围，但是我有尝试过做文本清洗。为了降低数据集行文风格复杂程度，去除不以标点符号结尾的行，这个策略会去除章回标题、药方、一些古文列表的内容。另外，针对文本中出现的中文乱码，有一个筛除操作。

我做了一个数据集，可以用来训练模型，huggingface数据集仓库链接，huggingface的数据集可以通过map操作切割samples，你可以参考这个实现。

[ReverseSystem001]

好的，谢谢。我回去瞅瞅

…

---原始邮件--- 发件人: "Jianbin ***@***.***> 发送时间: 2023年6月30日(周五) 晚上6:46 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [shjwudp/shu] 下载完数据集应该怎么预处理 (Issue #2) @ReverseSystem001 你好，欢迎提问，我没有在知乎上讲过这个repo，好奇你讲的清洗流程是哪篇文章。 书籍内容清洗不在这个仓库的工作范围，但是我有尝试过做文本清洗。为了降低数据集行文风格复杂程度，去除不以标点符号结尾的行，这个策略会去除章回标题、药方、一些古文列表的内容。另外，针对文本中出现的中文乱码，有一个筛除操作。 我做了一个数据集，可以用来训练模型，huggingface数据集仓库链接，huggingface的数据集可以通过map操作切割samples，你可以参考这个实现。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>