Kafka 를 zookeeper 없이 사용하기

Apache Kafka, ZooKeeper 의존성을 제거

4P by xguru 2020-05-18
- 주키퍼를 외부의 메타데이터 저장소로 사용하기 때문에 중복, 비효율성, 확장성 제한등의 문제가 발생
- KIP-500 : "Kafka on Kafka"
ㅤ→ Kafka 내부에서 직접 메타데이터를 관리하여 파티션에 저장
ㅤ→ 메타데이터를 로그로 취급
ㅤ→ 토픽 작성/삭제 속도 향상 : 주키퍼랑 다르게 메타데이터 파티션에 새 토픽 작성하는 O(1) 오퍼레이션으로 끝나기 때문
ㅤ→ 단일 클러스터가 백만개 이상의 파티션을 지원 가능
- 로드맵
ㅤ→ 주키퍼와 직접 통신하는 관리도구들이 아직 있음. 이를 대체할 API를 제공 예정
ㅤ→ 메타데이터 파티션과 컨트롤러 간의 의존성이 생기기 때문에 KIP-595 에서 Raft 프로토콜로 Self-managed metadata quorum 구현 예정
ㅤ→ 주키퍼 없이 Kafka를 실행하는 KIP-500 모드 : 처음엔 전체 지원이 불완전 하므로 레거시모드로 주키퍼를 같이 사용할 예정
ㅤ→ KIP-500은 "Bridge Release". 주키퍼 지원이 완전히 사라질 KIP-500이후 버전에서 다운타임 없이 이전할수 있도록 준비하는 중간 업그레이드. 진짜로 주키퍼 없는 버전으로 다시 한번 업그레이드 할수 있도록 지원

Apache Kafka 2.8 - ZooKeeper 제거 업데이트(KIP-500) 및 최신 기능 개요
Apache Kafka 2.8이 출시되었습니다! 이 릴리스에는 오랫동안 기다려온 KIP-500에 캡슐화된 ZooKeeper 제거에 대한 조기 액세스와 Describe Cluster API 추가, SASL_SSL 리스너에 대한 상호 TLS 인증 지원, Kafka Connect의 노출된 작업 구성을 비롯한 기타 주요 업데이트가 포함됩니다. REST API, TopologyTestDriver에 대한 속성 인수 제거, Kafka Streams 특정 잡히지 않은 예외 처리기 도입, Streams에서 창 크기 처리 개선 등.

• https://kafka.apache.org/downloads
• https://aws.amazon.com/ko/about-aws/whats-new/2021/04/amazon-msk-adds-support-apache-kafka-version-2-8-0/

Mac 1대에 3개의 Kafka를 띄워서 클러스터링 해보기

• Kafka without zookeeper : https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/
• With Quorum Controller : https://www.youtube.com/watch?v=CBU1tmFD5h0 <필수 시청>
• Sample server.properties : https://github.com/arunsrajan/tutorial/tree/main/kafkaconfig-kraft
• 
  
• ./config/kraft 폴더에 server.properties, broker.properties, controller.properties 3 종류 설정파일이 있는데
  우리는 server.properties 만 설정하면 된다. 이유는 process.roles=broker,controller 이것 때문이다.

* 설치 및 테스트 환경 <macos> 

* Kafka Kill
> ps ax | grep kafka
> kill {pid}
> ./bin/kafka-server-start.sh --bootstrap-server localhost:9092

* Kafka Server 실행 <Cluster : 3대> - config 디렉토리 위치가 중요함. kraft 임
> ./config/kraft/server.properties 파일을 server1.properties server2.properties server3.properties 으로 copy 한다.
  해당 파일을 열어서 아래 항목을 수정한다. 
  # The node id associated with this instance's roles
  node.id=1 <이것을 1, 2, 3> 으로 각각 변경한다.

* Kafka Storage 생성 및 포맷 -> process를 3개를 실행할거라 스토리지는 UUID는 1번 생성한거 계속 사용하고 포멧은 3번을 해줘야 함.
  만약 서로 다른 서버라고 하면 storage 생성 -> 포맷을 각각 해줘야함.

$ ./bin/kafka-storage.sh random-uuid
   생성된 UUID<BW1sMe9dQGyDyBsO-gSgug>를 복사한다.

$ ./bin/kafka-storage.sh format -t BW1sMe9dQGyDyBsO-gSgug -c ./config/kraft/server1.properties
   Formatting ../tmp/kraft-combined-logs1
$ ./bin/kafka-storage.sh format -t BW1sMe9dQGyDyBsO-gSgug -c ./config/kraft/server2.properties
   Formatting ../tmp/kraft-combined-logs2
$ ./bin/kafka-storage.sh format -t BW1sMe9dQGyDyBsO-gSgug -c ./config/kraft/server3.properties
   Formatting ../tmp/kraft-combined-logs3

* Kafka Server 1,2,3 실행

> ./bin/kafka-server-start.sh -daemon ./config/kraft/server1.properties
> ./bin/kafka-server-start.sh -daemon ./config/kraft/server2.properties
> ./bin/kafka-server-start.sh -daemon ./config/kraft/server3.properties

* Topic 생성
> ./bin/kafka-topics.sh --create --topic foo --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092
> ./bin/kafka-topics.sh --create --topic foo --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092,localhost:9094,localhost:9096

* Topic 조회
> ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092
> ./bin/kafka-topics.sh --list --bootstrap-server localhost:9092,localhost:9094,localhost:9096
> 
* Topic 읽기<Consumer>
> ./bin/kafka-console-consumer.sh --topic foo --bootstrap-server localhost:9092
> ./bin/kafka-console-consumer.sh --topic foo --bootstrap-server localhost:9092,localhost:9094,localhost:9096

* Topic 쓰기<Producer>
> ./bin/kafka-console-producer.sh  --topic foo --bootstrap-server localhost:9092
> ./bin/kafka-console-producer.sh  --topic foo --bootstrap-server localhost:9092,localhost:9094,localhost:9096

• listener 및 quorum 포트 계획 <짝수, 홀수>

• server{1,2,3}.properties 예시