减少内存占用

[andeya]

减少内存占用

[andeya]

你检查过你的I/O输出情况吗？
批量输出的大小、并发的多少都会影响内存的；
输出与抓取是异步的，假如输出始终慢于抓取速度，那么内存就会一直增加；
另外，你的规则逻辑、带宽也很重，问题是多方面的；
你从我提到这几方面，做一下分析。

[andeya]

另外，我不知道你的使用的版本是不是含义gc回收监控的，这个一定程度也可以抑制内存增长。
因为go的对闲置内存是不会马上归还系统的，而Pholcus又是在高速运行，产生大量垃圾，因此gc的效果就不那么明显了，加了手动gc，可以一定程度弥补这一缺陷。

[vvvsrx]

非常感谢回答！你说的几点对我来说是非常重要的信息~
I/O目前用的SSD，走的mysql，10000条信息存一次，用的系统默认，代码方面。是按照官方的写法做的，字段其实很少。GC方面我要研究下，还没接触过，总之，感谢！