kafka docker server端服务器运行

想要运行kafka。发现windows系统运行kafka经常报问题怎么办？linux系统环境太复杂怎么办？

本文针对kafka服务器的启动，介绍如何利用docker在容器内运行kakfa的server。

1. 环境说明

docker提供了相对独立简洁的运行环境，能够让kafka的服务端良好独立地运行，遇到问题也方便进行排查。

经常使用的kafka镜像有wurminster/kafka, bitnami/kafka这两种，都可以使用。本文使用bitnami/kafka，并结合zookeeper使用（kafka的运行基础）。

docker: 24.0.6

镜像bitnami/kafka: 2.8.1

镜像bitnami/zookeeper: latest

镜像dushixiang/kafka-map:latest(kafka的管理界面，可同时启动使用)

不同版本基本不会对运行产生影响。

2. 方法介绍

为了让kafka有健全的运行体系，并且方便我们一键式地开启或关闭kafka的server，利用docker compose工具来建立一个由多容器构成的整体服务。

2.1. 文件准备

创建一个kafka文件夹，文件夹中创建2个文本文件，重命名为.env和compose.yaml

2.1.1. .env文件

.env文件的作用为设置环境变量，方便我们修改相关的参数，如端口、版本等。

ZOOKEEPER_IMAGE_VERSION='latest' KAFKA_IMAGE_VERSION='2.8.1' KAFKA_MAP_IMAGE_VERSION='latest' ZOOKEEPER_PORT=2181 KAFKA_PORT=9092 KAFKA_MAP_PORT=9001 

2.1.2. compose.yaml文件

docker compose进行启动服务的执行文件，根据文件内容运行对应镜像。

将生成zookeeper，kafka，kafka-map三个容器。

services:   zookeeper:     image: bitnami/zookeeper:${ZOOKEEPER_IMAGE_VERSION}     container_name: zookeeper     ports:       - ${ZOOKEEPER_PORT}:2181     environment:       - ALLOW_ANONYMOUS_LOGIN=yes     networks:       - app-tier    kafka:     image: bitnami/kafka:${KAFKA_IMAGE_VERSION}     container_name: kafka     ports:       - ${KAFKA_PORT}:9092     environment:       - KAFKA_CFG_NODE_ID=1       - ALLOW_PLAINTEXT_LISTENER=yes       - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181       # - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092  不用advertised会导致client无法连接       - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:${KAFKA_PORT}     networks:       - app-tier    kafka-map:     image: dushixiang/kafka-map:${KAFKA_MAP_IMAGE_VERSION}     container_name: kafka-map     restart: always     ports:       - ${KAFKA_MAP_PORT}:8080     environment:       - DEFAULT_USERNAME=admin       - DEFAULT_PASSWORD=admin     volumes:       - /opt/kafka-map/data/:/usr/local/kafka-map/data     networks:       - app-tier  networks:   app-tier: 

2.2. 运行命令

打开cmd并cd到kafka文件夹的路径。

输入下方命令

docker compose up -d

 成功运行将显示

此时即说明kafka的server已运行成功。

3. 后续操作

3.1. 运行client客户端（consumer和producer)

我的本机是windows，可以通过在windows安装kafka来生成producer和consumer。

也可以利用python代码，来生成producer和consumer。

client客户端的运行将依赖于docker生成的kafka server端，如果server停止运行，client会出问题。

3.1.1. 通过windows安装的kafka运行

首先在cmd中cd到kafka的执行路径。

cd "G:\kafka_2.13-2.8.1\bin\windows"

利用以下代码产生consumer或producer，注意一个窗口只能开一个，两个都开要两个窗口。

# 启动consumer kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning # 启动producer kafka-console-producer.bat --broker-list localhost:9092 --topic test

3.1.2. python代码生成

首先python环境中需安装kafka-python

producer: 每秒钟由producer发送时间

from kafka import KafkaProducer import time   if __name__ == "__main__":     producer = KafkaProducer(bootstrap_servers='localhost:9092',                              api_version=(2, 8, 1))     print('Producer is ready to send messages')     while True:         time.sleep(1)         msg = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime())         print(msg)         msg = msg.encode('utf-8')         producer.send(topic='python', value=msg) 

consumer

from kafka import KafkaConsumer import os   if __name__ == "__main__":     consumer = KafkaConsumer('python',                             bootstrap_servers=['localhost:9092'],                             group_id = str(os.getpid()),                             api_version=(2, 8, 1),                             auto_commit_interval_ms=5000,                             )      for msg in consumer:         value = msg.value.decode('utf-8')         recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, value)         print(recv) 

3.2. kafka相关信息查看

这里以通过zookeeper查看当前已有的broker（即kafka的server端）为例。

在cmd中运行

docker exec -it zookeeper bin/bash zkCli.sh

进入该容器后，运行

# 查看当前已有的broker的id ls /brokers/ids # 输出: [1, 2, 3] # 获取该broker的信息 get /brokers/ids/<某id>

参考资料

Docker安装Kafka教程（超详细）

kafka各种环境安装(window,linux,docker,k8s),包含KRaft模式

解决Docker容器连接 Kafka 连接失败问题