irpas技术客

K8S环境快速部署Kafka(K8S外部可访问),程序员必须要了解的知识点_普通网友_k8s搭建kafka

网络 1341

kafka启动成功后,咱们来验证服务是否正常; 对外暴露zookeeper

为了远程操作kafka,有时需要连接到zookeeper,所以需要将zookeeper也暴露出来;

创建文件zookeeper-nodeport-svc.yaml,内容如下:

apiVersion: v1

kind: Service

metadata:

name: zookeeper-nodeport

namespace: kafka-test

spec:

type: NodePort

ports:

port: 2181

nodePort: 32181

selector:

app: zookeeper

release: kafka

执行命令:kubectl apply -f zookeeper-nodeport-svc.yaml

查看服务,发现已经可以通过宿主机IP:32181访问zookeeper了,如下图:

验证kafka服务

找一台电脑安装kafka包,就能通过里面自带的命令远程连接和操作K8S的kafka了:

访问kafka官网:http://kafka.apache.org/downloads ,刚才确定了scala版本2.11,kafka版本2.0.1,因此下载下图红框中的版本:

下载后解压,进入目录kafka_2.11-2.0.1/bin

查看当前topic:

./kafka-topics.sh --list --zookeeper 192.168.50.135:32181

如下图,空空如也:

4. 创建topic:

./kafka-topics.sh --create --zookeeper 192.168.50.135:32181 --replication-factor 1 --partitions 1 --topic test001

如下图,创建成功后再查看topic终于有内容了:

5. 查看名为test001的topic:

./kafka-topics.sh --describe --zookeeper 192.168.50.135:32181 --topic test001

6. 进入创建消息的交互模式:

./kafka-console-producer.sh --broker-list 192.168.50.135:31090 --topic test001

进入交互模式后,输入任何字符串再输入回车,就会将当前内容作为一条消息发送出去:

7. 再打开一个窗口,执行命令消费消息:

./kafka-console-consumer.sh --bootstrap-server 192.168.50.135:31090 --topic test001 --from-beginning

8. 再打开一个窗口,执行命令查看消费者group

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】 浏览器打开:qq.cn.hn/FTf 免费领取

./kafka-consumer-groups.sh --bootstrap-server 192.168.50.135:31090 --list

如下图可见groupid等于console-consumer-21022

9. 执行命令查看groupid等于console-consumer-21022的消费情况:

./kafka-consumer-groups.sh --group console-consumer-21022 --describe --bootstrap-server 192.168.50.135:31090

如下图所示:

远程连接kafka体验基本功能完毕,查看、收发消息都正常,证明本次部署成功;

kafkacat连接

kafkacat是个客户端工具,我这里是在MacBook Pro上用brew安装的;

我这里K8S服务器IP是192.168.50.135,因此执行此命令查看kafka信息:kafkacat -b 192.168.50.135:31090 -L,如下图,可以看到broker信息,以及topic信息(一个是test001,还有一个是consumer的offset),把端口换成31091和31092会连接到另外两个broker,也能得到相同信息:

清理资源

本次实战创建了很多资源:rbac、role、serviceaccount、pod、deployment、service,下面的脚本可以将这些资源清理掉(只剩NFS的文件没有被清理掉):

helm del --purge kafka

kubectl delete service zookeeper-nodeport -n kafka-test

kubectl delete storageclass managed-nfs-storage

kubectl delete deployment nfs-client-provisioner -n kafka-test

kubectl delete clusterrolebinding run-nfs-client-provisioner

kubectl delete serviceaccount nfs-client-provisioner -n kafka-test

kubectl delete role leader-locking-nfs-client-provisioner -n kafka-test

kubectl delete rolebinding leader-locking-nfs-client-provisioner -n kafka-test

kubectl delete clusterrole nfs-client-provisioner-runner

kubectl delete namespace kafka-test

至此,K8S环境部署和验证kafka的实战就完成了,希望能给您提供一些参考;

欢迎关注我的公众号:程序员欣宸


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #k8s搭建kafka #v1kind #2