kafka教程-安装部署kafka_2.13-2.6.0(windows单机)

下载

本文采用 kafka_2.13-2.6.0 版本,2.13 是scala版本号,2.6.0 是kafka版本号

下载地址:
http://kafka.apache.org/downloads

zookeeper

kafka依赖zookeeper

kafka内置了zookeeper,在 kafka_2.13-2.6.0\libs 目录下有zookeeper的jar包。
但一般不用内置的

kafka_2.13-2.6.0 版本 需要zookeeper 3.5.8 版本

查看方式:

安装、启动

https://www.malaoshi.top/show_1IXKKyJkv81.html

安装kafka

解压缩即可

配置kafka

kafka配置文件较多,在 kafka_2.13-2.6.0目录\config 目录下

  • server.properties:kafka服务配置文件

  • consumer.properties:消费者配置文件,用于命令操作,测试

  • producer.properties:生产者配置文件,用于命令操作,测试

  • zookeeper.properties:内置zookeeper配置文件,一般不用内置的

修改server.properties

kafka服务配置文件

修改broker id

# kafka集群中broker的id,必须是整数,且broker之间唯一
broker.id=0

配置数据文件夹

在 kafka_2.13-2.6.0目录目录下创建 logs 文件夹

修改配置如下:

# kafka数据文件
log.dirs=D:\\devtools\\kafka_2.13-2.6.0\\logs

这里名字是 log.dir 其实不是日志,是数据文件

配置zookeeper

将zookeeper服务器ip、端口号配置在下面

zookeeper.connect=localhost:2181

配置kafka端口号

默认是9092

#listeners=PLAINTEXT://:9092

其他配置

#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168

启动程序

windows启动程序在 kafka_2.13-2.6.0\bin\windows 目录下

  • kafka-server-start.bat:启动kafka服务
  • kafka-server-stop.bat:关闭kafka服务
  • kafka-topics.bat:操作topic
  • kafka-console-consumer.bat:控制台操作消费者
  • kafka-console-producer.bat:控制台操作生产者

启动kafka

需要先启动 zookeeper

在 kafka_2.13-2.6.0 目录下,按下图操作:

打开 Powershell 或 cmd ,执行下面命令:

.\bin\windows\kafka-server-start.bat .\config\server.properties

看到下面界面表示启动成功:

关闭kafka

.\bin\windows\kafka-server-stop.bat .\config\server.properties

查看zookeeper

启动zookeeper客户端,查看节点:

ls /

结果如下:


原文出处:/show_1IXL4ybrjzY.html