我对消息队列的一些看法(简单入门)
最近部门架构要升级消息队列,原有的MetaQ要换成RocketMQ。
说来可笑,写了这么久代码,我从来没接触过MQ这一块,借此机会记录一下学习MQ的过程。
既然要学习,那必须要知道以下这几个问题:
- 是什么
- 有什么用
- 怎么用
1、消息中间件是什么?
消息队列(Message Queue,简称 MQ)。是基于队列与消息传递技术,在网络环境中为应用系统提供同步或异步、可靠的消息传输的支撑性软件系统。
中间件的意思就是相当于一个中介,实际上就是生产者要给消费者发送消息,但是不是直接通知,而是借住消息中间件去通知。
消息中间件具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,也成为异步RPC的主要手段之一。
目前市面上优秀的消息中间件有很多,比如:
- ActiveMQ
- RabbitMQ
- RocketMQ
- Kafka
1.1、ActiveMQ
ActiveMQ 是由 Apache 出品的一款开源消息中间件,基于JMS,旨在为应用程序提供高效、可扩展、稳定、安全的企业级消息通信。
JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。
它的设计目标是提供标准的、面向消息的、多语言的应用集成消息通信中间件。所以ActiveMQ支持多种语言的客户端和协议。
1.2、RabbitMQ
由 Erlang 语言开发的基于 AMQP 协议的消息队列。轻量级,快速,部署使用方便,带有可视化的后台管理界面。
AMQP :Advanced Message Queue,高级消息队列协议。它是应用层协议的一个开放标准,为面向消息的中间件设计,基于此协议的客户端与消息中间件可传递消息,并不受产品、开发语言等条件的限制。
ActiveMQ和RabbitMQ都是老牌的消息中间件。
1.3、 RocketMQ
RocketMQ 是阿里巴巴一个开源的消息队列,使用 Java 实现。前身是MetaQ,后来随着业务的激增,借鉴了 Kafka 的设计并做了很多改进,于是就出现了RocketMQ,现阿里已经将RocketMQ 捐赠给Apache基金会,意味着它将开源和有活跃的社区维护。
天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。
1.4、KafKa
Kafka是Scala和Java开发的,对批处理和异步处理做了大量的设计,因此Kafka可以得到非常高的性能,尤其是大数据和云计算领域。
它的异步消息的发送和接收是三个中最好的,但是跟RocketMQ拉不开数量级,每秒处理几十万的消息。如果是异步消息,并且开启了压缩,Kafka最终可以达到每秒处理2000w消息的级别。
Kafka需要配合zookeeper进行元数据管理。
以上总结就是:
RabbitMQ:轻量级、性能较好,功能完备,适合中小公司。
RocketMQ:为金融而生,消息可靠性强,易维护。
KafKa:为大数据而生,适合大数据收集、日志收集业务,高吞吐。
2、消息中间件有什么用
阿里的RocketMQ开发文档有写到MQ的用法,我借用它们的场景应用和图片,来介绍一下MQ的作用。
2.1、解耦
未解耦前,有一天大佬叫我接入A系统,然后我就在代码里面调用了A,接下来大佬又叫我接入B、C系统,我又改了代码;忽然有一天,大佬说A系统不需要接入了,我又改了代码把它注释。
// 不需要调用A系统了,注释 // service.informA(message); service.informB(message); service.informC(message);
如此反复,实在麻烦。
使用MQ,我就可以把消息交给mq去处理了,不用每次都要改我的代码了。
如果是在淘宝这种核心交易系统,每笔交易订单数据的产生会引起几百个下游业务系统的关注,包括物流、购物车、积分、阿里妈妈、流计算分析等等,整体业务系统庞大而且复杂,架构设计稍有不合理,将直接影响主站业务的连续性;
通过 MQ 的异步化设计,即便下游子系统(如物流、积分等)出现不可用甚至宕机,都不会影响到核心交易系统的正常运转;而且通过 MQ 的异步化设计,也能随时接入新的系统,适应业务的变化。
2.2、削峰
诸如秒杀、抢红包、企业开门红等大型活动时皆会带来较高的流量脉冲,或因没做相应的保护而导致系统超负荷甚至崩溃,或因限制太过导致请求大量失败而影响用户体验,削峰填谷是解决该问题的最佳方式;
通过 MQ 超高性能的消息处理能力可以承接流量脉冲而不被击垮,在确保系统可用性同时,因快速有效的请求响应而提升用户的体验。
可以把请求丢到MQ、服务器处理完了再去取请求。
2.3、顺序消息
比如证券交易过程时间优先原则,交易系统中的订单创建、支付、退款等流程,航班中的旅客登机消息处理等等。与FIFO原理类似,MQ提供的顺序消息即保证消息的先进先出;
2.4、分布式事务消息
阿里巴巴的交易系统、支付红包等场景需要确保数据的最终一致性,大量引入 MQ 的分布式事务,既可以实现系统之间的解耦,又可以保证最终的数据一致性;
最后借用阿里云官方的RocketMQ介绍视频,建议0.5倍速看: