消息积压、排查困难?Provectus Kafka UI 让你的数据流一目了然

2025-12-12 0 460

01 引言

消息队列是IT领域常见中间件,而Apache Kafka以其高吞吐、高性能游走于分布式开发和大数据上下游处理中。总之,削峰、解耦、大数据异步处理都会有Kafka的影子。

但是,消息的积压、排查总是无法直观的看到问题。急需一款直观、强大的图形化界面来提升工作效率。在GitHub无意间发现了一个项目:kafka-ui。此项目正是解决我的燃眉之急,我们一起了解一下吧。

02 简介

2.1 选型

在了解这款kafka-ui之前,其实还有发现了其他两个类似的开源项目,并且star数还不低。

我们这里要介绍是第一个。其他两个对比下来,小编觉得功能上并没有第一个丰富。所以最终就选择了provectus/kafka-ui。有兴趣的可以去试试。

2.2 介绍

UI for Apache Kafka是一个功能丰富、基于 Web 的开源用户界面,专门为 Apache Kafka 设计,用来管理Apache Kafka集群。它提供了一个直观的可视化控制台,让用户无需记忆复杂的命令行指令,就能轻松地执行从基本的主题管理到复杂的消费者组监控等各项任务。

GitHub上提供操作的动图以及部署命令,我们以Docker部署为例。

GitHub地址:github.com/provectus/k…

03 部署

GitHub上提供了临时和持久化的两种部署命令。-it表示交互式命令,生命周期随着界面的关闭而关闭,属于临时部署。为了从头开始介绍,我们选用临时部署的方式。

由于我的8080端口被占用,所以修改了宿主机的端口。

docker run -it -p 8081:8080 -e DYNAMIC_CONFIG_ENABLED=true provectuslabs/kafka-ui

启动成功:

直接使用IP+端口的方式访问:http://127.0.0.1:8081/

04 UI 配置

4.1 添加集群

进去之后,什么都没有,需要配置集群。我们需要通过Add Bootstrap Server添加集群IP和端口。其他的可以暂时不同设置。

集群下分别有BrokersTopicsConsumers三个主要信息。其中BrokersConsumers只能查看,无法操作。最主要的操作对象就是Topics

4.2 Topic操作

通过选中Topic可以删除、复制、新增以及清除Topic中的所有消息。

4.3 生产消息

选中Topic之后,可以进行生产消息。

Topic下分别可以查看分片、副本等信息,还可以查看消息、订阅的消费者以及设置预统计。

发送消息说明:

发送消息可以决定从哪个分片发送以及发送K、V的数据类型。发送的消息可以包含keyvalue以及Headers

05 编写消费者

5.1 依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

5.2 配置

# Kafka配置
# 集群节点,逗号隔开
spring.kafka.consumer.bootstrap-servers=127.0.0.1:9092,127.0.0.1:9093
# Key 反序列化
spring.kafka.consumer.key-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# value 反序列化
spring.kafka.consumer.value-deserializer=org.apache.kafka.common.serialization.StringDeserializer
# 消费者名称(必填)
spring.kafka.consumer.group-id=kafka-group-test

5.3 消费者监听

消费者获取消息时,可以通过org.apache.kafka.clients.consumer.ConsumerRecord类接收,可以获取到所有的信息。

@Component
public class KafkaMessageConsumer {

    @KafkaListener(topics = \"mytopic\")
    public void receiveMessage(ConsumerRecord record) {
        // 获取消息的详细信息
        System.out.println(\"Consumed record: \");
        // 获取消息的 key
        System.out.println(\"Key: \" + record.key());
        // 获取消息的 value
        System.out.println(\"Value: \" + record.value());
        // 获取消息的 topic
        System.out.println(\"Topic: \" + record.topic());
        // 获取消息的分区
        System.out.println(\"Partition: \" + record.partition());
        // 获取消息的Headers
        System.out.println(\"headers: \" + record.headers());
        // 获取消息的偏移量
        System.out.println(\"Offset: \" + record.offset());
        // 获取消息的时间戳
        System.out.println(\"Timestamp: \" + record.timestamp());
    }
}

发送的消息:

key: this is mytopic key
value: this is mytopic value
headers: {\"x-topic\": mytopic}

接收的消息:

3.4 番外

在接受消息时,使用ConsumerRecord我们可以得到完整的消息。如果只关注消息本身(Value),那我们可以直接使用String接收。如:

@KafkaListener(topics = \"mytopic\")
public void receiveMessage2(String record) {
	System.out.println(record);
}

这样消息的其他信息就会被丢弃,只保留Value值。

06 小结

一个好用的UI工具,可以方便我们排查问题和管理集群。provectus/kafka-ui采用动态配置的方式,类似搭建了一个管理平台,可以管理所有的集群。做到了一处部署,多处使用,极大的方便了开发者的使用。赶快去探索吧!

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

左子网 编程相关 消息积压、排查困难?Provectus Kafka UI 让你的数据流一目了然 https://www.zuozi.net/35883.html

常见问题
  • 1、自动:拍下后,点击(下载)链接即可下载;2、手动:拍下后,联系卖家发放即可或者联系官方找开发者发货。
查看详情
  • 1、源码默认交易周期:手动发货商品为1-3天,并且用户付款金额将会进入平台担保直到交易完成或者3-7天即可发放,如遇纠纷无限期延长收款金额直至纠纷解决或者退款!;
查看详情
  • 1、描述:源码描述(含标题)与实际源码不一致的(例:货不对板); 2、演示:有演示站时,与实际源码小于95%一致的(但描述中有”不保证完全一样、有变化的可能性”类似显著声明的除外); 3、发货:不发货可无理由退款; 4、安装:免费提供安装服务的源码但卖家不履行的; 5、收费:价格虚标,额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外); 6、其他:如质量方面的硬性常规问题BUG等。 注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。
查看详情
  • 1、左子会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全! 2、左子无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别; 3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外); 4、在没有”无任何正当退款依据”的前提下,商品写有”一旦售出,概不支持退款”等类似的声明,视为无效声明; 5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准); 6、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在左子上所留的QQ、手机号沟通,以防对方不承认自我承诺。 7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于左子介入快速处理。
查看详情

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务