darknessitachi/stormmq

StormMQ

一.简介

• StormMQ是一个支持消息发布-订阅的消息中间件,java语言开发,采用netty网络框架.Kryo序列化框架为网络传输数据序列化,protostruff序列化框架作为数据持久化的序列化

二.功能简介

1.支持消息者集群.

• 消费者A是一个集群,订阅了topicA，broker收到topicA的某条消息后,只投递给消费者A集群中的一台机器.消费者集群的每台机器每秒消费的消息是均衡的.

2.简单的支持消息属性过滤订阅.

• broker只能投递符合属性条件的消息给订阅者
• 支持消费者的退订服务.

3.提供可靠的消息服务

• broker保证数据同步落盘后才向生产者返回成功Ack.(生产者发布一个消息阻塞等待其Ack,超时时间是10s,避免忙轮询等待,基于netty的事件通知);
• 生产者也支持异步发送消息给broker.(生产者发布一个消息后不阻塞,Ack返回后触发回调函数).
• 消息投递后,如果消费失败、消费超时进行消息重投.
• 消费者订阅主题后同步等待broker发送Ack确认broker收到订阅消息
• 消费者收到消息后,回答broker消费结果,如果消费失败，broker会尽快重投.

三.性能优化点

• 持久化采用缓存技术,减少磁盘.
• 记录线程的发送速度,控制重发线程的启动.(5秒记录一次)
• 采用netty的主从Reactor线程模型.
• 采用protostruff和Kryo序列化框架.

四.性能测试

模型300个生产者,一个消费者
测试结果:

SendTps(个/s)	recvTps(个/s)	Sendrt(ms)	delay(ms)
6265	6269	47	73

五.后续改进

• 添加消息配置中心,实现broker集群化对外提供服务.
• 存储备份，防止数据损坏.
• 实现消费者自主消费(拉模式)