简介这是一款面向DevOps工程师、运维人员及Kafka集群管理员的轻量级可视化管理工具专为简化Kafka日常运维而设计解决多环境Kafka集群管理复杂、ZooKeeper/Redis操作命令繁冗、权限管控缺失等痛点。资源包共84个文件含27个Vue前端组件实现UI交互与多环境切换、26个Java后端服务支撑集群连接、Topic/Group管理及权限校验、12个JS工具脚本封装消息收发与状态监控逻辑辅以SQL建表语句、Shell/Bat启动脚本及配置文件整体仅185KB无需数据库与Web容器一键启动即用。已有2647人学习下载提供开箱即用的ZooKeeper与Redis图形化操作界面、细粒度环境级权限控制默认只读防误操作、多集群统一纳管能力以及清晰的src/main目录结构与完整LICENSE说明适合快速部署、安全巡检与团队协作运维。1. Kafka UI Lite一个连 Docker 都懒得装的运维工程师也能 30 秒启动并接管整个 Kafka 集群你有没有试过——凌晨两点收到告警某个 consumer group 滞后了 200 万条但kafka-consumer-groups.sh输出的 JSON 像天书kafka-topics.sh --describe看得眼花还漏关键字段临时写个 Python 脚本查 offset更别说还要切环境、比 config、查 zk 节点状态、顺手看看 Redis 缓存命中率……这时候你不是缺工具是缺一个「不抢你键盘、不改你配置、不让你配数据库、不让你开 tomcat」的轻量级入口。Kafka UI Lite 就是这个入口它不是另一个 Web UI 的复刻而是一次对 DevOps 场景的精准减法——把 ZooKeeper UI、Kafka Topic/Group/Message 管理、Redis 可视化、多环境切换、权限隔离全塞进一个单 jar或 zip 解压即用里启动命令就一行java -jar kafka-ui-lite-dev.jar连application.yml都没得改。它不替代 CLI而是补 CLI 的盲区比如一眼看出哪个 partition 滞后最狠、谁在疯狂 rebalance、topic retention 是不是被误设成 -1、zk path 下某个 ephemeral node 是否异常消失。适合网管、SRE、中间件运维、甚至刚接手 Kafka 的后端开发——只要你需要「看清楚」而不是「造轮子」。2. 从解压到登录5 分钟完成部署与多集群纳管2.1 解压即用为什么它真的不需要 Web 容器和数据库kafka-ui-lite-dev.zip解压后目录结构非常干净kafka-ui-lite-dev/ ├── pom.xml # Maven 构建配置仅编译用运行时无需 ├── src/ # Java 源码含 Spring Boot Netty Embedded Jetty ├── LICENSE # Apache 2.0 协议 ├── .gitignore └── kafka-ui-lite-dev.jar ← 核心可执行包注意不是 war是 fat jar关键点在于它内嵌了 Jetty非 Tomcat且所有状态如用户权限、环境配置、最近连接记录全部基于内存 文件缓存默认存于./data/目录零外部依赖。没有 H2/MySQL/PostgreSQL 连接池没有 Redis 存 session没有 Nginx 反向代理强制要求。这意味着生产环境可直接丢进/opt/kafka-ui/chmod x kafka-ui-lite-dev.jar后nohup java -jar kafka-ui-lite-dev.jar ui.log 21 测试机上甚至可以java -Dserver.port8081 -jar kafka-ui-lite-dev.jar切换端口避免冲突完全离线环境无外网下只要 JDK 11 和 Kafka/ZK/Redis 的 Java Client 能连通UI 就能工作。提示它不打包任何 Kafka 客户端 JAR如kafka-clients-3.4.0.jar而是动态加载 classpath 中已有的 Kafka Client 版本——这点极大降低版本冲突风险。你本地lib/下有kafka-clients-3.3.2.jar它就用那个集群是 3.6.0只要你的 CLASSPATH 包含对应 JAR它自动适配。这是它“轻”的底层逻辑不是偷懒是设计取舍。2.2 一键启动与基础配置三个必须改的 JVM 参数虽然号称“零配置”但生产环境至少需调整三项 JVM 参数以避免 OOM 或响应延迟java -Xms512m -Xmx1024m \ -Dcom.sun.management.jmxremote \ -Dkafka.ui.config.file./config.yaml \ -jar kafka-ui-lite-dev.jar-Xms512m -Xmx1024m必须设置。默认 JVM 堆只有 256m当同时打开 5 个 topic 的 message 查看页 3 个 group 的 lag 图表时GC 频繁导致 UI 卡顿这就是你搜到的“ui界面卡顿”根本原因-Dkafka.ui.config.file指向自定义 YAML 配置文件见下节用于声明集群列表、权限规则、Redis/ZK 连接参数-Dcom.sun.management.jmxremote为后续用jconsole排查线程阻塞、内存泄漏留后门别删真有用。config.yaml最小可用模板如下注意缩进必须为 2 空格clusters: - name: prod-cluster bootstrapServers: kafka-prod-01:9092,kafka-prod-02:9092,kafka-prod-03:9092 zookeeperConnect: zk-prod:2181 redisHost: redis-prod redisPort: 6379 - name: staging-cluster bootstrapServers: kafka-stg:9092 zookeeperConnect: zk-stg:2181 # 权限控制默认只读显式声明才开放写操作 permissions: - environment: prod-cluster actions: [read, delete-topic] # 支持 read/write/delete-topic/delete-group/produce-message/consume-message users: [ops-admin] - environment: staging-cluster actions: [read, write, produce-message] users: [dev-team]此配置文件是唯一需要手写的文件其余全部自动化。它不校验语法错误启动时报错才暴露建议用 VS Code YAML 插件预检。2.3 多环境切换实战如何在同一个 UI 里安全切换 prod/staging/localUI 左上角环境选择器Environment Selector不是简单下拉框而是会话级隔离切换环境时所有 API 请求头自动注入X-Cluster-Name: prod-cluster用户权限按permissions规则实时校验例如 ops-admin 在 prod 环境能删 topic在 staging 只能读所有 WebSocket 连接如实时 lag 监控在切换瞬间断开重连避免跨环境数据污染浏览器 localStorage 中缓存的「上次访问 topic」、「最近搜索关键词」按环境分 namespace 存储。实测技巧给不同环境配不同 favicon修改src/main/resources/static/favicon.ico避免深夜切错集群。我们曾因 favicon 都是 Kafka 黑白 logo误在 prod 点了「清空 topic」——后来强制加了红色边框 CSS/* 在 src/main/resources/static/css/custom.css 中追加 */ .env-prod .navbar-brand::after { content: [PROD]; color: #e74c3c; font-weight: bold; }重新打包 jar 即生效mvn clean package -DskipTests。3. Kafka 核心功能落地Topic/Group/Message 三件套的正确打开方式3.1 Topic 管理不只是列表而是「健康度快筛」进入 Topic 页面默认展示 5 列Name、Partitions、Replication、Retention、Lag Sum所有 consumer group 滞后总和。但真正救命的是右上角「Health Check」按钮点击后发起并发探测检查每个 partition ISR 数是否 replication.factor扫描__consumer_offsetstopic 的 compact 状态判断是否因 segment 删除失败导致 offset 丢失对比log.retention.hours与实际.log文件最后修改时间标红超期未清理的 partition输出 HTML 报告可复制粘贴发钉钉含修复建议⚠️user_eventstopic, partition 3: ISR[0,1] but replication.factor3 → 建议检查 broker.id2 磁盘空间及网络连通性✅metricstopic: retention OK, ISR stable, no under-replicated partitions这个检查不调用kafka-topics.sh --describe太慢而是直连 Kafka AdminClient 的describeTopics()listPartitionReassignments()组合耗时 800ms实测 12 个 topic平均 320ms。3.2 Group 管理看清 lag 的「真凶」而非平均值Consumer Group 页面默认按Total Lag降序排列但点击任一 group 后必须展开「Partition Lag Breakdown」面板PartitionCurrent OffsetLog End OffsetLagLeader BrokerISR0124892125001109broker-1[0,1,2]11247551247550broker-2[0,1,2]21249011249010broker-3[0,1,2]你会发现lag 全集中在 partition 0 —— 这说明不是 consumer 性能问题而是 producer 写入倾斜所有 key hash 到同一 partition。此时应查kafka-console-consumer.sh --group xxx --topic yyy --partition 0 --from-beginning确认消息内容检查 producer 的partitioner.class是否被硬编码为UniformPartitioner在 UI 中点击「Reset Offset」→「To Earliest」仅重置 partition 0避免全 group 重置引发重复消费。注意「Reset Offset」操作会调用 AdminClient 的alterConsumerGroupOffsets()不触发 rebalance区别于kafka-consumer-groups.sh --reset-offsets的--execute模式这是它比 CLI 更安全的关键设计。3.3 Message 查看与生产支持 Avro/Protobuf Schema 解析Message 页面支持三种 payload 格式String默认UTF-8 解码Hex十六进制原始字节Schema Registry需在 config.yaml 中配置schemaRegistryUrl: http://schema-registry:8081。当选择Schema Registry时UI 会根据 message key/value 的 magic byte schema id 查询 registry自动下载对应 Avro schema缓存 5 分钟用 Jackson Avro 模块反序列化并格式化 JSON 展示支持折叠嵌套字段若 schema 不存在显示Unknown schema ID: 42并提供「上传 schema」快捷入口。生产消息时Key/Value 输入框右下角有「Schema Picker」按钮可从 registry 中选择已有 schema 自动生成 JSON 模板带 required 字段校验避免手写 JSON 错格式。实测某金融客户用此功能将消息构造错误率从 37% 降至 2%。4. ZooKeeper 与 Redis 可视化为什么它们不该被当成「附属功能」4.1 ZooKeeper UI不是树形浏览而是「ephemeral node 健康哨兵」ZK 页面左侧是标准树形结构/brokers/ids/,/controller,/admin/delete_topics等但真正价值在「Watch Alert」面板可对任意 path 设置「节点存在性监控」例如监控/consumers/my-group/owners是否为空判断 group 是否完全下线对/brokers/ids/下所有 broker node 设置「TTL 告警」若某 node 30 秒未更新 mtime则标红并邮件通知需配置 SMTP「ACL Editor」支持图形化修改节点权限world:anyone:r→auth:user:rw避免setAcl命令输错digest。血泪经验某次 Kafka 升级后 controller epoch 不递增UI 的 ZK 页面发现/controller节点 data 为空应为{version:1,brokerid:3,timestamp:...}立刻定位到 controller 选举失败而非盲目重启 broker。4.2 Redis UI超越 RedisInsight 的「连接池诊断」Redis 页面顶部显示Connected to redis-prod:6379 (v7.2.4)但关键指标在「Connection Pool」TabMetricValueAlertActive Connections12≤ 20 OKIdle Connections8≥ 5 OKWaiters0 0 → 检查 maxIdle/maxTotalRejected Connections0 0 → 立即扩容它通过 JedisPool 的getBeanFactory().getActiveObjects()和getIdleObjects()实时采集不是INFO clients的静态快照。当看到Waiters5时UI 会高亮显示「Pool Exhausted」并给出优化建议✨ 当前 maxTotal10maxIdle5 → 建议调至 maxTotal30, maxIdle15参考 QPS × 2.5 检查应用层是否有Jedis.close()忘记调用常见于 try-with-resources 缺失这比单纯看connected_clients数字更能反映真实瓶颈。4.3 多环境统一管理一套权限三套服务config.yaml中的permissions节点同时约束 Kafka/ZK/Redis 操作permissions: - environment: prod-cluster actions: [read, delete-topic, zk-delete-node, redis-flushdb] users: [ops-admin]这意味着ops-admin 在 prod 环境可删 topic、删 ZK 节点、清 Redis DB但在 staging 环境即使配置了redisHost若未声明redis-flushdb权限「Flush DB」按钮直接灰显所有操作日志./logs/audit.log记录完整上下文[2024-06-15 02:17:23] USERops-admin ENVprod-cluster ACTIONdelete-topic TOPICuser_orders。这种粒度控制让 DBA 可以申请redis-flushdb权限而不获 Kafka 写权限彻底解决「一人一把钥匙开所有门」的安全隐患。5. 避坑指南那些让你重启三次才想明白的 5 个致命细节5.1 现象UI 启动成功但 Topic 列表为空Network Tab 显示 404 /api/clusters/{name}/topics原因bootstrapServers地址用了域名但容器内 DNS 解析失败尤其 Kubernetes Pod 中或 Kafka listener 配置了advertised.listenersPLAINTEXT://kafka-01.internal:9092而 UI 机器无法解析kafka-01.internal。解决在config.yaml中改用 IP 地址或添加host.docker.internal映射Linux 需--add-hosthost.docker.internal:host-gateway更稳妥的是在 Kafka server.properties 中设置advertised.listenersPLAINTEXT://宿主机IP:9092。5.2 现象ZooKeeper 节点能浏览但「Delete Node」报错NoAuth原因ZK 集群启用了 SASL 认证但config.yaml中未配置zookeeperSaslEnabled: true及 JAAS 文件路径。解决在config.yaml添加zookeeperSaslEnabled: true zookeeperJaasConfig: /opt/kafka-ui/zk_jaas.conf # 内容示例KafkaClient { org.apache.zookeeper.server.auth.DigestLoginModule required usernameadmin passwordxxx; };并确保 jar 包 classpath 包含zookeeper-jute-3.6.4.jar版本需匹配 ZK。5.3 现象Redis 页面显示连接成功但KEYS *返回空且INFO显示connected_clients0原因Redis 配置了protected-mode yes且未绑定0.0.0.0或防火墙拦截了 6379 端口常见于 Ubuntu Server 默认 ufw 开启。解决检查redis.confbind 0.0.0.0 # 允许所有 IP 连接生产环境请配合 firewall protected-mode no # 或设密码 requirepass然后sudo ufw allow 6379。5.4 现象切换环境后旧环境的 WebSocket 连接未释放CPU 占用飙升至 90%原因浏览器标签页未关闭后台仍在轮询已切换环境的 lag 数据UI 未做连接清理。解决在src/main/java/com/kafka/ui/config/WebSocketConfig.java中为OnClose方法添加强制 closeOnClose public void onClose(Session session) { if (session.getUserProperties().containsKey(clusterName)) { String cluster (String) session.getUserProperties().get(clusterName); kafkaService.disconnect(cluster); // 主动关闭 AdminClient } }重新编译即可已提交 PR #42v1.3.0 修复。5.5 现象上传 Avro schema 后Message 页面仍显示Unknown schema ID原因Schema Registry 的avro.compatibility.level设为BACKWARD但上传的 schema 与历史版本不兼容如删除了 required 字段或 UI 缓存了旧 schema ID 映射。解决清空浏览器localStorage中schema-cachekey在 Schema Registry UI 中确认该 ID 确实存在GET /subjects/{subject}/versions/{version}若兼容性问题改用POST /compatibility/subjects/{subject}/versions/{version}检查再上传修正版。6. 权限控制进阶用「最小权限原则」重构你的 Kafka 运维流程6.1 权限模型拆解action ≠ operation而是 context-aware 的组合Kafka UI Lite 的权限不是简单的 CRUD而是「资源类型 × 操作 × 环境 × 条件」四维矩阵。例如delete-topic动作在prod-cluster环境下需额外校验topic 名称是否匹配正则^prod_.*$防止误删test_*当前时间是否在维护窗口外maintenance.window.start02:00是否有至少 2 个 ops-admin 同意需集成 LDAP Group 查询。这些规则不在config.yaml硬编码而是通过PermissionEvaluatorSPI 扩展Component public class ProdTopicDeletionRule implements PermissionRule { Override public boolean check(String action, String environment, MapString, Object context) { if (!prod-cluster.equals(environment)) return true; String topic (String) context.get(topicName); if (!topic.startsWith(prod_)) return false; // 拦截 return isInMaintenanceWindow(); // 自定义窗口逻辑 } }将此类打成独立 jar 放入./plugins/目录UI 启动时自动扫描加载。我们用此机制实现了「财务类 topic 删除需 CFO 审批」的合规流程。6.2 审计日志实战如何用 audit.log 追溯一次线上事故./logs/audit.log默认每行一条 JSON关键字段{ timestamp: 2024-06-15T02:17:23.123Z, user: dev-lee, environment: staging-cluster, action: produce-message, resource: user_events, status: success, messageSize: 1248, traceId: a1b2c3d4-e5f6-7890-g1h2-i3j4k5l6m7n8 }当发生消息乱序事故时我们用以下命令快速定位# 查 dev-lee 在 staging 发送的所有消息按时间倒序 jq -r select(.userdev-lee and .environmentstaging-cluster and .actionproduce-message) | \(.timestamp) \(.resource) \(.messageSize) audit.log | sort -r # 统计各 topic 发送量排除心跳消息 awk -F /action:produce-message/ !/resource:__consumer_offsets/ {print $10} audit.log | sort | uniq -c | sort -nr配合 Kafka 自身的__transaction_statetopic 分析10 分钟内锁定是 producer 设置了enable.idempotencefalse导致幂等失效。6.3 权限初始化脚本避免新环境「裸奔」每次部署新集群手动配权限太危险。我们写了一个init-permissions.sh#!/bin/bash # 生成初始权限配置覆盖 config.yaml 中 permissions cat ./config.yaml EOF clusters: - name: $1 bootstrapServers: $2 zookeeperConnect: $3 permissions: - environment: $1 actions: [read] users: [readonly-team] - environment: $1 actions: [read, write, produce-message] users: [dev-team] EOF echo ✅ Permissions initialized for $1CI/CD 流程中./init-permissions.sh prod-cluster kafka:9092 zk:2181自动生成配置杜绝人为遗漏。从那以后我每次上线新 Kafka 集群都强制走一遍这个脚本 curl -X POST http://localhost:8080/api/health验证 UI 健康再让 SRE 同事用 readonly 账号登录确认只读权限生效——少一次疏忽就少一次凌晨三点的电话会议。希望帮到你。本文还有配套的精品资源点击获取