目录
一:准备
二:kafka的基本操作(命令行操作)
一:准备
1.安装kafka
操作:kafka单机和集群(全分布)的安装部署过程_一个人的牛牛的博客-CSDN博客
2.安装zookeeper
操作:zookeeper单机和集群(全分布)的安装过程_一个人的牛牛的博客-CSDN博客
3.启动zookeeper
在zookeeper目录下执行:
bin/zkServer.sh start如果是集群每一台都需要执行启动命令!!?
验证:?jps看到QuorumPeerMain进程就已经启动成功!!!
4.启动kafka(在kafka目录下)(需要先启动zookeeper)
bin/kafka-server-start.sh -daemon config/server.properties如果是集群每一台都需要执行启动命令!! ?验证:jps查看进程都有kafka进程就启动成功了1.!!! ?
二:kafka的基本操作(命令行操作)1.查看当前服务器中的所有topic(在kafka目录下)
kafka-topics.sh --zookeeper hadoop001:2181 --list2.创建主题topic(在kafka目录下)
如:test
bin/kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 1 --partitions 1 --topic test?如:second
bin/kafka-topics.sh --zookeeper hadoop001:2181 --create --replication-factor 1 --partitions 3 --topic second3.删除topic(在kafka目录下)
如:test
bin/kafka-topics.sh --zookeeper hadoop001:2181 --delete --topic test需要server.properties中设置delete.topic.enable=true否则只是标记删除。
4.启动控制台生产者(在kafka目录下)
如:test
bin/kafka-console-producer.sh --broker-list hadoop001:9092 --topic test5.启动控制台消费者(在kafka目录下)(需要另外打开一个终端)
如:test
bin/kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --topic test --from-beginning?我们一般先运行消费者,再去运行生产者
topic为second发送消息
topic为second消费消息
?6.查看某个topic的详情(在kafka目录下)
如:test
?bin/kafka-topics.sh --zookeeper hadoop001:2181 --describe --topic test?7.修改分区数(在kafka目录下)
如:test
bin/kafka-topics.sh --zookeeper hadoop001:2181 --alter --topic test --partitions?68.说明:
hadoop001?我的主机名
2181?端口
--topic 定义topic名
--replication-factor? 定义副本数
--partitions? 定义分区数
?--from-beginning:会把主题中以往所有的数据都读取出来
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签: #kafka操作