Coroutine Pool
这是一个协程池, 用户处理大负载情况,降低延时
主要基于以下两点考虑: 1、要有一个缓冲的队列。 2、控制产生的协程的数量。
简单地使用goroutine能满足中小型负载, 代码如下
go func(){
// to do
}()
但是这样我们没法控制产生的go routine的数量,当请求量很大的时候,这样的代码很快就崩溃了。
改进(但问题依然存在,不能很好地控制任务并行的数量)
var JobQueue = make(chan Payload, MAX_JOB_QUEUE)
func StartProcessor() {
for {
select {
case job := <-JobQueue:
//to do
}
}
}
这样做有一个存放任务的队列,但是不能控制任务队列的并发量。
那么如何解决呢?
这里使用了二级channel的方法来解决这个问题。 第一级:有一个存放任务的缓冲队列。 第二级:控制任务队列的并发数(对worker的数量进行控制)。
1、使用简单, 扩展方便 .
2、负载的结构体可以进行自定义, 实现Call()方法即可。
接口有4个: 1、新建二级缓存。 2、开始工作。 2、推送负载。 3、停止工作。
新建二级缓存(一个分配器):
// NewDispatcher -- maxQueue 任务队列的缓存大小, maxWorkers 工作携程的数量(控制并行数)
func NewDispatcher(maxQueue, maxWorkers int) *Dispatcher
开始工作:
func (d *Dispatcher) Run()
推送负载:
// Payload -- Payload interface
// worker 将会从 Job 中获取 payload, 执行该payload的call方法
type Payload interface {
Call()
}
// PushPayload -- Push a payload
func (d *Dispatcher) PushPayload(payload Payload)
停止工作:
func (d *Dispatcher) Stop()