1、kafka集群搭建_qq_42008471

网络投稿 02-07 8111

学习尚硅谷kafka教程记录的笔记，视频地址： kafka3.x教程

1、kafka集群搭建解压 tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/ 修改解压后的文件名称，将改好名的kafka文件夹复制到另外两台机器 mv kafka_2.12-3.0.0/ kafka 修改配置 cd /opt/module/kafka/config vim server.properties #修改以下内容 #broker 的全局唯一编号，不能重复，只能是数字。 broker.id=0 #kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以 #配置多个磁盘路径，路径与路径之间可以用"，"分隔 log.dirs=/opt/module/kafka/datas #配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理） zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka fka 将server.properties文件同步到另外两台机器，并修改另外两台机器的broker.id为1和2

注：broker.id 不得重复，整个集群中唯一。

配置环境变量，在另外两台机器上也要配置 vim /etc/profile.d/my_env.sh #增加如下内容： #KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin source /etc/profile 启动集群

先启动 Zookeeper 集群，然后启动 Kafka。

Zookeeper 集群启动方式在上篇文章中写过。

#依次在 hadoop102、hadoop103、hadoop104 节点上启动 Kafka。 cd /opt/module/kafka/ bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-start.sh -daemon config/server.properties bin/kafka-server-start.sh -daemon config/server.properties 关闭集群 cd /opt/module/kafka/ bin/kafka-server-stop.sh bin/kafka-server-stop.sh bin/kafka-server-stop.sh kafka基本的命令操作 topic操作命令查看当前服务器中的所有 topic bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list 创建topic #需要指定分区数和副本数 bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --partitions 1 --replication-factor 3 --topic topicname 查看 topic 主题的详情 bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic topicname 修改分区数（注意：分区数只能增加，不能减少） bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic topicname --partitions 3 生产者命令行操作发送消息 bin/kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic topicname >hello world 消费者命令行操作 #不消费历史数据 bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic topicname #把主题中所有的数据都读取出来（包括历史数据）。 bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic topicname