解决rocketmq-spring-boot-starter导致的多消费者实例重复消费问题

 更新时间:2024年06月18日 08:42:08   作者:lipfff  
这篇文章主要介绍了解决rocketmq-spring-boot-starter导致的多消费者实例重复消费问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

问题描述

在使用rocketMQ集群模式消费的时候(通过springboot整合的依赖操作)

发现在一台服务器启动多个消费者实例后,消息进行了重复消费,但是在不同的服务器部署消费者实例后,消息能正常消费。

背景知识

rocketMQ的消费模式有两种:

  • 1.负载均衡模式 消费者采用负载均衡方式消费消息,多个消费者(服务启动多个,本地多个springboot加载类启动)共同消费队列消息,每个消费者处理的消息不同
  • 2.广播模式 消费者采用广播的方式消费消息,每个消费者消费的消息都是相同的

本地代码

依赖版本

    <properties>
        <rocketmq-spring-boot-starter-version>2.0.3</rocketmq-spring-boot-starter-version>
    </properties>
        <dependency>
            <groupId>org.apache.rocketmq</groupId>
            <artifactId>rocketmq-spring-boot-starter</artifactId>
            <version>${rocketmq-spring-boot-starter-version}</version>
        </dependency>

消费者:

package cn.lpf.mq;

import lombok.extern.slf4j.Slf4j;
import org.apache.rocketmq.spring.annotation.ConsumeMode;
import org.apache.rocketmq.spring.annotation.ExtRocketMQTemplateConfiguration;
import org.apache.rocketmq.spring.annotation.MessageModel;
import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;
import org.apache.rocketmq.spring.core.RocketMQListener;
import org.springframework.stereotype.Component;

import java.util.concurrent.atomic.AtomicInteger;

/**
 * @auth lipf
 * @date 2021/1/16 16:27
 */
@Slf4j
@Component
//,messageModel = MessageModel.CLUSTERING
//,consumeMode = ConsumeMode.ORDERLY
@RocketMQMessageListener(consumerGroup =  "huanlv-group", topic = "miniapp_service_topic")
public class HotelServiceConsumer implements RocketMQListener<String> {

    private AtomicInteger count=new AtomicInteger(0);
    @Override
    public void onMessage(String message) {
        log.info("HotelServiceConsumer-->Receive message:{}",message);
        long start = System.currentTimeMillis();
        try {
            Thread.sleep(10);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        long end = System.currentTimeMillis();
        log.info("HotelServiceConsumer-->handler message:{} ms,{} s",(end-start),(end-start)/1000);
    }
}

消息积压并重复消息

观察console客户端,如下:

原因分析

通过使用rocket客户端消费是没问题的:

/**
 * 消息的接受者
 */
public class BaseConsumer {

    public static void main(String[] args) throws Exception {
        //1.创建消费者Consumer,制定消费者组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("huanlv-group");
        //2.指定Nameserver地址
        consumer.setNamesrvAddr("172.16.100.11:9876");
        //3.订阅主题Topic和Tag
        consumer.subscribe("miniapp_service_topic", "*");

        //设定消费模式:负载均衡|广播模式
        consumer.setMessageModel(MessageModel.CLUSTERING);
//        consumer.setMessageModel(MessageModel.BROADCASTING);

        //4.设置回调函数,处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {

            //接受消息内容
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
                for (MessageExt msg : msgs) {
                    System.out.println("consumeThread=" + Thread.currentThread().getName() + "," + new String(msg.getBody()));
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        //5.启动消费者consumer
        consumer.start();
    }
}

所以这个时候怀疑是springboot整合rockemq的版本有问题,把版本有2.0.3换成了2.2.0问题解决掉,客户端注入ClientId规则发现变化,消息正常消费:

<properties>
        <rocketmq-spring-boot-starter-version>2.2.0</rocketmq-spring-boot-starter-version>
         </properties>

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Java安全之Filter权限绕过的实现

    Java安全之Filter权限绕过的实现

    在一些需要挖掘一些无条件RCE中,大部分类似于一些系统大部分地方都做了权限控制的,而这时候想要利用权限绕过就显得格外重要,本文就介绍了如何实现,一起来了解一下
    2021-05-05
  • 解决maven常见错误:Dependency is duplicated in file(s):

    解决maven常见错误:Dependency is duplicated in 

    这篇文章主要介绍了解决maven常见错误:Dependency is duplicated in file(s):问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-04-04
  • java打印日志的几种方式总结

    java打印日志的几种方式总结

    这篇文章主要介绍了java打印日志的几种方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-11-11
  • Java中List分片方式详细解析

    Java中List分片方式详细解析

    这篇文章主要介绍了Java中List分片方式详细解析,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • Java HttpServletResponse响应实现过程详解

    Java HttpServletResponse响应实现过程详解

    这篇文章主要介绍了Java HttpServletResponse响应实现过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-05-05
  • Java程序员必须知道的5个JVM命令行标志

    Java程序员必须知道的5个JVM命令行标志

    这篇文章主要介绍了每个Java程序员必须知道的5个JVM命令行标志,需要的朋友可以参考下
    2015-03-03
  • java实现简单的弹球游戏

    java实现简单的弹球游戏

    这篇文章主要为大家详细介绍了java实现简单的弹球游戏,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-08-08
  • Java图片读取ImageIO.read()报错问题及解决

    Java图片读取ImageIO.read()报错问题及解决

    在使用imageio库读取图片时,如果路径中包含中文,可能会导致读取失败,解决方法是将路径中的中文字符进行转义处理,可以使用ImageUtil.java工具类进行路径转义,从而避免错误,这是一个常见问题,希望本文的解决方案能帮助到遇到相同问题的开发者
    2024-10-10
  • SpringBoot错误提示400状态问题

    SpringBoot错误提示400状态问题

    这篇文章主要介绍了SpringBoot错误提示400状态问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-08-08
  • Java中的javaBean、vo、entity、domain和pojo

    Java中的javaBean、vo、entity、domain和pojo

    这篇文章主要介绍了Java中的javaBean、vo、entity、domain和pojo用法,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-12-12

最新评论