filter是否支持batch处理，以及怎么设置batch_size？

[Yang-QW]

filter是否支持batch处理，以及怎么设置batch_size？

[Yang-QW]

我好像找到了设置batch_size的地方，希望以后可以加到配置文件中

[BeachWang]

Hi, 我们这里的batch主要考虑mapper中一个样本生成多个样本的情况，返回时需要包装成batch，目前只有mapper支持batch功能，且输入batch大小固定为1。确实每个类型的op都应支持batch比较合理，且batch大小的设置应该开放给用户。但是这边用户可能需要考虑一下打batch的开销，如果batch_op的加速不足以cover住这部分开销可能速度会更慢。

[sherrytonger]

Hi, 我们这里的batch主要考虑mapper中一个样本生成多个样本的情况，返回时需要包装成batch，目前只有mapper支持batch功能，且输入batch大小固定为1。确实每个类型的op都应支持batch比较合理，且batch大小的设置应该开放给用户。但是这边用户可能需要考虑一下打batch的开销，如果batch_op的加速不足以cover住这部分开销可能速度会更慢。

batch的开销有什么呢？内存占用？

[HYLcool]

batch的开销有什么呢？内存占用？

是的，内存是一个点，并行度相同的情况下，batch size越大，同时在处理的数据越多，内存占用可能越大。

目前大部分Filter算子能力暂时都只支持单样本依次处理，增加batch size带来的加速空间相对来说没有那么大，在内存等资源允许的情况下，不如增大并行度np。

此外，部分Mapper为batched OP的原因主要为这些Mapper是用来进行数据增强或者数据生成的，因此不同于普通Mapper的1->1的映射过程，它需要一个1->N映射过程，我们这里使用batch化来支持这种新类型。

[github-actions]

This issue is marked as stale because there has been no activity for 21 days. Remove stale label or add new comments or this issue will be closed in 3 day.

[github-actions]

Close this stale issue.