kafka消费不到数据的排查过程

更新时间：2023年02月08日 16:42:24 作者：香山上的麻雀1008

这篇文章主要介绍了kafka消费不到数据的排查过程，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

kafka消费不到数据的排查

集群上新安装并启动了3个kafka Broker，代码打包上传至集群，运行后发现一直消费不到数据，

本地idea中debug后发现，程序一直阻塞在如下程序中，陷入了死循环。

  /**
     * Block until the coordinator for this group is known and is ready to receive requests.
     * 等待直到我们和服务端的GroupCoordinator取得连接
     */
    public void ensureCoordinatorReady() {
        while (coordinatorUnknown()) {//无法获取GroupCoordinator
            RequestFuture<Void> future = sendGroupCoordinatorRequest();//发送请求
            client.poll(future);//同步等待异步调用的结果
            if (future.failed()) {
                if (future.isRetriable())
                    client.awaitMetadataUpdate();
                else
                    throw future.exception();
            } else if (coordinator != null && client.connectionFailed(coordinator)) {
                // we found the coordinator, but the connection has failed, so mark
                // it dead and backoff before retrying discovery
                coordinatorDead();
                time.sleep(retryBackoffMs);//等待一段时间，然后重试
            }

        }
    }

流程大概说就是

consumer会从集群中选取一个broker作为coordinator
然后group中的consumer会向coordinator发请求申请成为consumergroup中的leader
最后有1个consumer会成为consumerLeader ,其他consumer成为follower
consumerLeader做分区分配任务,同步给coordinator
consumerFollower从coordinator同步分区分配数据

问题出现在第一步，意思就是说Consumer和服务端的GroupCoordinator无法取得连接，所以程序一直在等待状态。

看了下__consumer_offsets 这个topic情况,50个分区全在broker id为152的broker上

bin/kafka-topics.sh --describe --zookeeper localhost:2182 --topic __consumer_offsets
Topic:__consumer_offsets PartitionCount:50 ReplicationFactor:1 Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
Topic: __consumer_offsets Partition: 0 Leader: 152 Replicas: 152 Isr:152
Topic: __consumer_offsets Partition: 1 Leader: 152 Replicas: 152 Isr:152
Topic: __consumer_offsets Partition: 2 Leader: 152 Replicas: 152 Isr:152
Topic: __consumer_offsets Partition: 3 Leader: 152
......

但是集群上并没有broker id为152的节点，想到该集群kafka节点曾经添加删除过节点，初步断定152是之前的kafka节点，后来该节点去掉后又加入新的节点但是zookeeper中的数据并没有更新。

所以就关闭broker，进入zookeeper客户端，将brokers节点下的topics节点下的__consumer_offsets删除，然后重启broker，注意，此时zookeeper上__consumer_offsets还并没有生成,要开启消费者之后才会生成.

然后再观察__consumer_offsets,分区已经均匀分布在三个broker上面了

bin/kafka-topics.sh --zookeeper localhost:2182 --describe --topic __consumer_offsets
Topic:__consumer_offsets   PartitionCount:50   ReplicationFactor:3   Configs:segment.bytes=104857600,cleanup.policy=compact,compression.type=producer
   Topic: __consumer_offsets   Partition: 0   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 1   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 2   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 3   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 4   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 5   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 6   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 7   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 8   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 9   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 10   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 11   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 12   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 13   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 14   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 15   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 16   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 17   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 18   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 19   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 20   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 21   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 22   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 23   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 24   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 25   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 26   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 27   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 28   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 29   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 30   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 31   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 32   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 33   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 34   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 35   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 36   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 37   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 38   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 39   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 40   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 41   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 42   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 43   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 44   Leader: 422   Replicas: 422,420,421   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 45   Leader: 420   Replicas: 420,422,421   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 46   Leader: 421   Replicas: 421,420,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 47   Leader: 422   Replicas: 422,421,420   Isr: 422,420,421
   Topic: __consumer_offsets   Partition: 48   Leader: 420   Replicas: 420,421,422   Isr: 420,422,421
   Topic: __consumer_offsets   Partition: 49   Leader: 421   Replicas: 421,422,420   Isr: 422,420,421

这个时候重启程序，发现已经可以正常消费了，问题解决。

参考资料：

https://stackoverflow.com/questions/42362911/kafka-high-level-consumer-error-code-15

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

如何获取java类中的属性注释
在开发中,有时需要获取Java类的属性注释,尤其是当JPA生成的表缺少注释时,可以通过jdk自带的tools.jar工具包来实现,方法类似于生成javadoc文档,需要在pom.xml文件中导入tools.jar的依赖,该jar文件一般位于JAVA_HOME/lib目录下
2024-09-09
java.io.UnsupportedEncodingException异常的正确解决方法(亲测有效！)
这篇文章主要给大家介绍了关于java.io.UnsupportedEncodingException异常的正确解决方法,文中介绍的办法亲测有效,java.io.UnsupportedEncodingException是Java编程语言中的一个异常类,表示指定的字符集不被支持,需要的朋友可以参考下
2024-02-02
如何解决Gradle、Maven项目build后没有mybatis的mapper.xml文件的问题
这篇文章主要介绍了如何解决Gradle、Maven项目build后没有mybatis的mapper.xml文件的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-01-01
Java中Cron表达式的生成解析及计算的工具类完整代码
这篇文章主要给大家介绍了关于Java中Cron表达式的生成解析及计算工具类的相关资料,Cron表达式是一个字符串,字符串空格分割,每一个域代表一个含义,一个cron表达式有至少6个,需要的朋友可以参考下
2023-12-12
Java8中字符串处理库strman-java的使用示例
除了Java本身的字符串处理方式外，我们还可以使用Apache Common Langs里的StringUtils来简化String的操作。但以上两种方式对于我们日常编程中最容易碰到的字符串处理来说，仍然显得有些不足。所以这篇文章给大家介绍Java8中字符串处理库strman-java的使用。
2016-09-09
java多线程编程之向线程传递数据的三种方法
在多线程的异步开发模式下，数据的传递和返回和同步开发模式有很大的区别。由于线程的运行和结束是不可预料的，因此，在传递和返回数据时就无法象函数一样通过函数参数和return语句来返回数据
2014-01-01
简单几步实现将Spring security4.x升级到5.x
这篇文章主要介绍了简单几步实现将Spring security4.x升级到5.x方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2024-08-08
Java8中Stream使用的一个注意事项
最近在工作中发现了对于集合操作转换的神器，java8新特性 stream，但在使用中遇到了一个非常重要的注意点，所以这篇文章主要给大家介绍了关于Java8中Stream使用过程中的一个注意事项，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。
2017-11-11
java随机事件分发器示例
这篇文章主要介绍了java随机事件分发器示例,需要的朋友可以参考下,功能需求和代码实现在下面
2014-03-03
Netty分布式pipeline管道传播outBound事件源码解析
这篇文章主要介绍了Netty分布式pipeline管道传播outBound事件源码解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-03-03

kafka消费不到数据的排查过程

目录

kafka消费不到数据的排查

流程大概说就是

总结

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具