Linux安装Kafka及集群部署教程

本文详细解析了在Linux系统上成功部署Kafka集群的五大核心实践：从传统ZooKeeper三节点协调模式到现代无依赖的KRaft内置共识架构，覆盖环境准备、关键配置（如broker.id、listeners与advertised.listeners的精准匹配）、网络连通性加固（防火墙与云安全组协同）、跨网段外网访问调优，以及systemd服务化运维——手把手教你规避节点失联、元数据不同步、客户端连接拒绝等高频故障，无论你是初学者还是运维工程师，都能快速构建稳定、可扩展、生产就绪的Kafka消息队列集群。

如果您尝试在 Linux 系统上部署 Kafka 消息队列集群，但遇到节点无法通信、ZooKeeper 协调失败或外网 Producer/Consumer 连接被拒等问题，则很可能是由于配置未隔离、监听地址未显式声明或集群元数据未同步所致。以下是解决此问题的步骤：

一、基于 ZooKeeper 的三节点 Kafka 集群部署

该方法适用于 Kafka 3.0 之前版本或需强一致性协调的生产场景，依赖独立 ZooKeeper 集群统一管理 broker 元数据与 leader 选举。每个节点需保持 broker.id 唯一且 zookeeper.connect 指向同一 ZK 集群地址。

1、在三台服务器上分别安装 JDK 1.8+，执行 java -version 验证输出包含 1.8 或更高版本。

2、下载并解压 ZooKeeper 3.5.8 至 /opt/zookeeper，在每台机器的 /opt/zookeeper/conf/zoo.cfg 中配置：tickTime=2000、initLimit=10、syncLimit=5、dataDir=/opt/zookeeper/data、clientPort=2181，并追加三行 server.1=192.168.1.42:2888:3888、server.2=192.168.1.41:2888:3888、server.3=192.168.1.47:2888:3888。

3、在每台服务器 /opt/zookeeper/data/myid 文件中写入对应数字（如 kafka-1 写入 1），确保与 zoo.cfg 中 server.x 编号一致。

4、下载 Kafka 2.12-2.6.0，解压至 /opt/kafka；修改每台的 config/server.properties：设置 broker.id=1（第二台为 2，第三台为 3）、listeners=PLAINTEXT://192.168.1.42:9092（按本机 IP 替换）、advertised.listeners=PLAINTEXT://192.168.1.42:9092、zookeeper.connect=192.168.1.42:2181,192.168.1.41:2181,192.168.1.47:2181。

5、依次启动三台 ZooKeeper：bin/zkServer.sh start；再并行启动三台 Kafka：bin/kafka-server-start.sh -daemon config/server.properties。

二、KRaft 模式无 ZooKeeper 的 Kafka 集群部署

该方法适用于 Kafka 3.3+ 版本，使用内置 KRaft 协议替代 ZooKeeper，降低运维复杂度并提升启动速度。集群通过自管理的元数据日志实现分布式共识，无需外部协调服务。

1、在三台服务器上安装 JDK 17+，确认 JAVA_HOME 已正确导出并加入 PATH。

2、下载 Kafka 3.9.1（Scala 2.12），解压至 /opt/kafka-kraft；进入 config/kraft/server.properties，修改：process.roles=broker,controller、node.id=1（第二台为 2，第三台为 3）、controller.quorum.voters=1@192.168.1.42:9093,2@192.168.1.41:9093,3@192.168.1.47:9093、listeners=PLAINTEXT://:9092,CONTROLLER://:9093、advertised.listeners=PLAINTEXT://192.168.1.42:9092（按本机 IP 替换）。

3、在每台机器上执行 bin/kafka-storage.sh format -t -c config/kraft/server.properties，其中 须为三台共用的唯一 UUID（可由第一台运行 bin/kafka-storage.sh random-uuid 生成后分发）。

4、启动各节点：bin/kafka-server-start.sh -daemon config/kraft/server.properties；验证 controller 是否就绪：执行 bin/kafka-metadata-quorum.sh --bootstrap-server 192.168.1.42:9092 --status，输出含 Ready 状态即成功。

三、防火墙与网络连通性加固配置

集群节点间必须开放指定端口以保障元数据同步、副本复制及客户端通信。若使用云服务器，还需同步配置安全组规则，避免因网络策略阻断关键链路。

1、在每台服务器执行 ufw allow 2181（ZooKeeper 模式）或 ufw allow 9092,9093（KRaft 模式），随后运行 ufw enable 启用防火墙。

2、在阿里云/腾讯云控制台中，为 Kafka 所在实例的安全组添加入方向规则：类型为自定义 TCP，端口范围为 9092/9092 和 9093/9093，授权对象为三台内网 IP 地址段（如 192.168.1.0/24）。

3、在任意节点执行 telnet 192.168.1.41 9092，确认连接成功；若失败，检查目标机是否运行 Kafka 进程（ps aux | grep kafka）及 netstat -tuln | grep :9092 是否监听 0.0.0.0。

四、跨网段 Producer/Consumer 外网访问配置

当客户端位于公网或不同子网时，Kafka 默认仅监听内网地址，导致连接超时或报错 NoBrokersAvailable。必须显式声明对外暴露的 IP 与端口，使客户端能正确解析路由。

1、在每台 Kafka 节点的 config/server.properties（ZooKeeper 模式）或 config/kraft/server.properties（KRaft 模式）中，确保 advertised.listeners 的值为该节点实际可被客户端直连的公网 IP 或弹性 IP，例如 PLAINTEXT://203.208.60.1:9092。

2、禁用 listener.security.protocol.map 中的非必要协议映射，仅保留 PLAINTEXT=PLAINTEXT；删除或注释掉 inter.broker.listener.name 行，避免监听名冲突。

3、重启 Kafka 服务使配置生效：bin/kafka-server-stop.sh 后再执行 bin/kafka-server-start.sh -daemon；使用外网客户端测试：bin/kafka-console-producer.sh --bootstrap-server 203.208.60.1:9092 --topic test 发送消息。

五、systemd 后台服务化与开机自启配置

将 Kafka 进程注册为 systemd 服务可实现标准化生命周期管理，避免终端关闭导致进程退出，并支持日志集中收集与故障自动恢复。

1、创建服务文件：sudo vim /etc/systemd/system/kafka.service，填入标准 Unit、Service 与 Install 段落，其中 ExecStart 必须包含 -daemon 参数及完整配置路径，User 设为 kafka（建议新建专用用户）。

2、重载 systemd 配置：sudo systemctl daemon-reload；启用开机自启：sudo systemctl enable kafka.service。

3、启动服务并查看状态：sudo systemctl start kafka；运行 sudo systemctl status kafka -l 检查 Active 状态是否为 running，并确认日志末尾无 ERROR 字样。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~