기본 콘텐츠로 건너뛰기

라벨이 zookeeper인 게시물 표시

Kafka 를 zookeeper 없이 사용하기

Apache Kafka, ZooKeeper 의존성을 제거 4P by xguru 2020-05-18 - 주키퍼를 외부의 메타데이터 저장소로 사용하기 때문에 중복, 비효율성, 확장성 제한등의 문제가 발생 - KIP-500 : "Kafka on Kafka" ㅤ→ Kafka 내부에서 직접 메타데이터를 관리하여 파티션에 저장 ㅤ→ 메타데이터를 로그로 취급 ㅤ→ 토픽 작성/삭제 속도 향상 : 주키퍼랑 다르게 메타데이터 파티션에 새 토픽 작성하는 O(1) 오퍼레이션으로 끝나기 때문 ㅤ→ 단일 클러스터가 백만개 이상의 파티션을 지원 가능 - 로드맵 ㅤ→ 주키퍼와 직접 통신하는 관리도구들이 아직 있음. 이를 대체할 API를 제공 예정 ㅤ→ 메타데이터 파티션과 컨트롤러 간의 의존성이 생기기 때문에 KIP-595 에서 Raft 프로토콜로 Self-managed metadata quorum 구현 예정 ㅤ→ 주키퍼 없이 Kafka를 실행하는 KIP-500 모드 : 처음엔 전체 지원이 불완전 하므로 레거시모드로 주키퍼를 같이 사용할 예정 ㅤ→ KIP-500은 "Bridge Release". 주키퍼 지원이 완전히 사라질 KIP-500이후 버전에서 다운타임 없이 이전할수 있도록 준비하는 중간 업그레이드. 진짜로 주키퍼 없는 버전으로 다시 한번 업그레이드 할수 있도록 지원 Apache Kafka 2.8 - ZooKeeper 제거 업데이트(KIP-500) 및 최신 기능 개요 Apache Kafka 2.8이 출시되었습니다! 이 릴리스에는 오랫동안 기다려온 KIP-500에 캡슐화된 ZooKeeper 제거에 대한 조기 액세스와 Describe Cluster API 추가, SASL_SSL 리스너에 대한 상호 TLS 인증 지원, Kafka Connect의 노출된 작업 구성을 비롯한 기타 주요 업데이트가 포함됩니다. REST API, TopologyTestDriver에 대한 속성 인수 제거, Kafka Streams 특정 잡히지 않은 예외 처리기 도입, Streams...