Mail.ruПочтаМой МирОдноклассникиВКонтактеИгрыЗнакомстваНовостиКалендарьОблакоЗаметкиВсе проекты

Docker-compose, несколько брокеров Kafka 3.7

Евгений Грачев Знаток (254), открыт 4 недели назад
В общем, вот конфиг
"services:
zookeeper:
image: confluentinc/cp-zookeeper:latest
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
ports:
- 22181:2181

kafka:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper
ports:
- 29092:29092
hostname: kafka
environment:
KAFKA_BROKER_ID: 1
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2

kafka2:
image: confluentinc/cp-kafka:latest
depends_on:
- zookeeper
ports:
- 29093:29092
hostname: kafka2
environment:
KAFKA_BROKER_ID: 2
KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka2:29093
KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT
KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2

kafka-ui:
image: provectuslabs/kafka-ui
container_name: kafka-ui
ports:
- 8090:8080
restart: always
environment:
- KAFKA_CLUSTERS_0_NAME=local
- KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS=kafka:29092,kafka2:29093
- KAFKA_CLUSTERS_0_ZOOKEEPER=zookeeper:2181
links:
- kafka
- kafka2
- zookeeper"

Все это запущено на виртуалке, к kafka-ui я могу спокойно подконнектиться из вне, все порты для брокеров и zookeeper открыты и все должны быть в порядке.
Скачал Kafka Offset Explorer, дает пингануть 29092 и zookeeper, но на пинг второго брокера на порту 29093, выдает connection refused.

Вчера, с другими портами пытался отправить сообщения из своего продюсера, написанного на java, вот лог после отправки сообщения:
"2024-10-23T23:55:33.622+03:00 WARN 24476 --- [ProducerApplication] [tion-producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=ProducerApplication-producer-1] Connection to node -1 (/192.168.172.129:29093) could not be established. Node may not be available.
2024-10-23T23:55:33.622+03:00 WARN 24476 --- [ProducerApplication] [tion-producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=ProducerApplication-producer-1] Bootstrap broker 192.168.172.129:29093 (id: -1 rack: null) disconnected
2024-10-23T23:55:35.776+03:00 INFO 24476 --- [ProducerApplication] [tion-producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=ProducerApplication-producer-1] Node -2 disconnected.
2024-10-23T23:55:35.776+03:00 WARN 24476 --- [ProducerApplication] [tion-producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=ProducerApplication-producer-1] Connection to node -2 (/192.168.172.129:29096) could not be established. Node may not be available.
2024-10-23T23:55:35.776+03:00 WARN 24476 --- [ProducerApplication] [tion-producer-1] org.apache.kafka.clients.NetworkClient : [Producer clientId=ProducerApplication-producer-1] Bootstrap broker 192.168.172.129:29096 (id: -2 rack: null) disconnected"

Продюсер точно корректный и весь код написано правильно. С одним брокером все работает, как только добавляешь второй, такие проблемы
0 ответов
Похожие вопросы