[Kafka] 컨테이너를 이용한 Kafka 설치

지난 포스트에서 우리는 Kafka가 어떤식으로 구성되었는지를 알아봤습니다.

 

2022.07.31 - [Middleware/Kafka] - [Kafka] 카프카의 코디네이터 Zookeeper

[Kafka] 카프카의 코디네이터 Zookeeper

카프카를 설치하는 방법은 두 가지 방법이 있습니다.

 

• 서버 호스트에 직접 설치
• 컨테이너를 이용한 설치

 

서버 호스트에 직접 설치하는 것은 환경 분리 없이 Homebrew, PPA를 이용해서 자신의 서버 환경에 설치하는 것입니다. 독립된 공간을 사용하지 않기 때문에 서버를 직접 운영하여 물리적으로 분리하는 것이 아니라면 이 방법을 추천드리지 않습니다.

 

따라서 우리는 Docker를 이용해 카프카를 설치해보도록 하겠습니다.

 

 

 

Single Node

최대한 쉽고 간단하게 설치하기 위해 싱글 노드 구성으로 카프카를 설치할 것입니다. 

 

이전 글에서는 주키퍼 클러스터에 주키퍼 서버 2대 이상(Leader, Follower)이 클러스터 구조로 된 앙상블을 이용한다고 했습니다. 실제로 그것이 권장 사항이긴 하지만 반드시 그것이 따로 독립되어야 한다는 것은 아니기 때문에 우리는 위와 같이 Leader와 Follower가 하나의 노드로 구성된 형태의 싱글 노드 구성으로 진행해보도록 하겠습니다.

 

 

 

Network 구성

Docker에서 클러스터 환경을 구성하기 위해 주키퍼와 카프카를 서로 연결하기 위한 그들만의 네트워크를 구성해야 합니다.

 

$ docker network create local-kafka

위 명령어를 이용해서 특정 네트워크 브릿지를 생성합니다.

 

 

 

Zookeeper 설치

카프카는 분산 처리 시스템을 기본으로 동작하는 분산 데이터 스트리밍 플랫폼입니다. 따라서 단일로 동작하지 않고, 분산된 카프키의 노드를 관리할 수 있는 코디네이터 서비스 시스템이 필요한데, 이에 대표적인 솔루션이 바로 주키퍼(Zookeeper)입니다.

 

https://hub.docker.com/_/zookeeper/tags

zookeeper Tags | Docker Hub

우리는 Docker를 이용하여 카프카를 설치해볼 것이기 때문에 주키퍼 또한 Docker 이미지를 사용할 것입니다. Macbook을 사용하시는 경우 자신의 맥북이 M1 프로세서인지를 확인한 후 버전을 선택하시길 바랍니다.

 

$ docker pull zookeeper:3.8.0-temurin

이 포스트에서는 편의상 주키퍼의 3.8 버전을 사용해보도록 하겠습니다. 위 명령어를 이용하여 먼저 이미지를 받습니다.

 

이미지가 정상적으로 받아졌다면 Pull complete이라는 메시지가 나타날 것입니다.

 

$ docker run -d --net local-kafka --name local-zookeeper -p 2181:2181 zookeeper:3.8.0-temurin

이미지를 모두 받았다면 이제 주키퍼 서버를 띄워볼건데요. 위 명령어를 이용해서 포트 주소를 2181을 expose 한 다음 local-zookeeper라는 이름으로 주키퍼 서버를 띄워줍니다.

 

컨테이너 해쉬값이 출력된 후 docker ps 명령어를 입력했을 때 local-zookeeper가 보인다면 성공적으로 주키퍼가 띄워진 것입니다.

 

 

 

Zookeeper 기본 다루기

우리는 Docker에서 2181번 포트 주소만을 expose 하였습니다. 그 이유는 하위 노드가 주키퍼와 연결할 때 쓰는 Listen Port가 2181 포트이기 때문입니다. 그렇다면 나머지 포트 주소는 무엇일까요?

 

• 2181: 주키퍼와 연결할 클라이언트들의 연결 포트 주소
• 2888: follower가 leader에게 연결을 요청하기 위한 포트 주소
• 3888: leader를 선출하기 위해 사용하는 포트 주소
• 8080: Web API 포트 주소

현재 이 글에서 다루는 Single Cluster - Single Node에서는 2888, 3888 포트 주소는 큰 의미를 가지고 있지 않습니다. 추후 멀티 클러스터와 멀티 노드로 구성하는 카프카에 대해 다루게 된다면 좀 더 심층적으로 다뤄보도록 하겠습니다.

 

이제 주키퍼를 띄웠으니 간단한 사용 방법에 대해 알아보겠습니다. 쉽게는 우리가 관리자 페이지를 직접 접속하는 방법이 있겠지만 이는 좀 더 후에 보도록 하고, 기본적으로 주키퍼를 컨트롤하는 스크립트인 zocli.sh를 사용해보도록 하겠습니다.

 

$ docker exec -it local-zookeeper /bin/bash

위 명령어를 이용하여 위에서 띄운 local-zookeeper 환경의 bash를 실행해봅니다.

 

그러면 이렇게 local-zookeeper의 bash 쉘이 실행될 것입니다.

 

bin 디렉터리에 접근하면 zkCli.sh 파일이 보입니다. zkCli는 znode를 생성하고 삭제하는 스크립트로 우리는 이제부터 이 스크립트를 이용해보도록 하겠습니다.

 

$ ./zkCli.sh

 

그러면 기본적으로 같은 호스트의 2181 주소를 탐색하여 접속하기 때문에 자동으로 로컬의 주키퍼 서버에 접속하는 것을 볼 수 있습니다.

 

[zk: localhost:2181(CONNECTED) 0] ls /

이번엔 ls / 명령어를 입력해봅시다. 

 

이전 글에서 이야기했던 것처럼 주키퍼는 디렉터리 단위(Znode)로 자원을 배치하고 관리합니다. 기본적으로 Zookeeper (자기 자신)을 가지고 있습니다. 아무것도 주키퍼에 연결된 노드가 없기 때문이죠.

 

 

 

Kafka 설치

자 이제 주키퍼에 대한 기본적인 것은 준비가 끝났으니 이제 카프카를 설치하고 띄워보겠습니다.

 

$ docker pull wurstmeister/kafka:2.13-2.8.1

주키퍼와 마찬가지로 카프카의 이미지 이름만 바꿔 컨테이니 이미지를 가져옵니다.

 

이미지를 가져왔다면 역시 Pull complete이 나올 것입니다.

 

$ docker run -d --net local-kafka --name local-kafka-node -p 9092:9092 -e KAFKA_ZOOKEEPER_CONNECT=local-zookeeper:2181 -e KAFKA_LISTENERS=INTERNAL://local-kafka-node:19092,EXTERNAL://localhost:9092 -e KAFKA_ADVERTISED_LISTENERS=INTERNAL://local-kafka-node:19092,EXTERNAL://localhost:9092 -e KAFKA_INTER_BROKER_LISTENER_NAME=INTERNAL -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT wurstmeister/kafka:2.13-2.8.1

위 명령어를 이용하여 docker run을 실행합니다. 다소 명령어가 긴데, 주키퍼 연결 정보 외에도 다양한 정보를 카프카에게 주어야 합니다. 차근차근 알아보도록 하죠.

 

• KAFKA_ZOOKEEPER_CONNECT
  
  Kafka의 메타데이터를 저장할 주키퍼 주소 (앙상블인 경우 Comma 단위로 모든 주키퍼의 주소를 적어야 함)
  
  
• KAFKA_LISTENERS
  
  카프카 리스너 주소(존 내)를 적는 변수 (현재는 필수값으로 들어가야 함)
  
  
• KAFKA_ADVERTISED_LISTENERS
  
  카프카 리스너 주소(존 외)를 적는 변수
  
  
• KAFKA_INTER_BROKER_LISTENER_NAME
  
  카프카끼리 통신할 리스너 이름을 정의
  
  
• KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
  
  리스너의 보안 프로토콜 여부 (PLAINTEXT, SSL, SASL_PLAINTEXT, SASL_SSL)

 

기본적으로 카프카와 연결할 주키퍼 주소가 필요하고, 이전에는 카프카끼리 통신을 위해 리스너들의 목록을 적지 않으면 모든 네트워크 대상의 카프카 브로커들끼리 리스너가 되도록 구성할 수 있었지만 지금은 리스너의 범위를 정해줘야 합니다.

 

그리고, ADVERTISED_LISTENER의 경우 NAT 내의 존이 아닌 존 외의 카프카끼리 통신을 해야할 때 사용합니다. 대표적으로 쿠버네티스(Kubernetes, k8s)가 있습니다.

 

LISTENER_SECURITY_PROTOCOL은 리스너들끼리 통신할 떄 암호화를 할것인지 평문으로 할 것인지를 결정하는 옵션으로 여기서는 평문을 사용하도록 하겠습니다.

 

다시 주키퍼로 와서 디렉터리를 보면 zookeeper 외에 admin, brokers, cluster, consumers 등 카프카와 관련된 디렉터리가 추가 되었음을 볼 수 있습니다.

 

 

 

주키퍼 Web API

주키퍼 Web API를 사용하여 주키퍼를 관리해볼 수 있습니다.

 

$ docker run -d --net local-kafka --name local-zookeeper -p 2181:2181 -p 8080:8080 zookeeper:3.8.0-temurin

WebAPI를 사용하기 위해 8080 포트를 EXPOSE 합니다.

 

Insomnia, Postman 등과 같은 API 테스트 도구를 이용해 주키퍼 WebAPI를 호출해봅니다. 만약 CLI 환경이라면 curl 등을 이용하는 것도 좋습니다.

 

$ curl http://localhost:8080/commands/stats

GET commands/stats를 호출하면 서버 상태와 연결된 노드들의 정보를 볼 수 있습니다. connections 항목에 아까 우리가 띄웠던 카프카가 연결된 정보를 볼 수 있습니다.

 

$ docker inspect local-kafka-node

docker inspect 명령어를 이용해 위에서 띄운 카프카의 정보를 확인합니다.

 

IPAddress를 보면 172.22.0.3 주소가 일치하며 우리가 띄운 주키퍼에 연결되었음을 알 수 있습니다.

 

 

 

마치며...

카프카의 설치는 일반 웹 서버, 웹 애플리케이션 서버보다도 설치가 복잡하고 어렵습니다. 멀티 노드, 앙상블 구성의 서버 애플리케이션이라는 점도 있지만 그 구조를 꿰기 위해 네트워크에 대한 지식도 확실하게 받쳐져 있어야만 이 설치 방법을 이해할 수 있습니다.

 

다음 포스트에서는 docker-compose를 이용해 좀 더 카프카를 쉽게 설치하는 방법에 대해 알아보겠습니다.