Kafka 3개의 Broker 환경 구축하기 - Kraft ModeDocker compose를 통해 Kafka 환경을 구축하려고 합니다.Kraft ModeZoopkeeper가 아닌 Kraft 모드로 3개의 Broker 구축NetworkKafka 서비스들이 서로 통신할 수 있도록 독립적인 도커 네트워크를 설정합니다. (kafka_network)VolumeKafka 서비스의 데이터 저장을 위해 각 Broker 별로 도커 볼륨을 설정합니다. (Kafka00, Kafka01, Kafka02)Kafka Kraft 모드란KRaft(Kafka Raft) 모드는 기존의 ZooKeeper에 의존하던 Kafka의 메타데이터 관리를 Kafka 자체에서 처리하도록 하는 새로운 아키텍처입니다. KRaft 모드는 Kafka 2...
Kafka란대규모 실시간 데이터 스트리밍을 처리하고 관리하는 분산 이벤트 스트리밍 플랫폼입니다. 링크드인(LinkedIn)에서 개발되었으며, 현재 오픈 소스로 제공되어 널리 사용되고 있습니다.사용 사례로그 및 메트릭 수집대규모 시스템에서 생성되는 로그와 메트릭 데이터를 카프카에 전송하여 중앙에서 실시간으로 수집, 처리, 분석실시간 데이터 파이프라인데이터를 한 시스템에서 다른 시스템으로 실시간으로 전달하는 데이터 파이프라인 구축에 사용됩니다.실시간 스트리밍 분석금융 거래, IoT 센서 데이터 등 실시간 스트리밍 데이터를 처리하고 분석하는 데 사용됩니다.메시지 큐서로 독립적인 서비스 간의 메시지 교환을 위해 사용됩니다. 이벤트 스트리밍 플랫폼이란이벤트 스트리밍 플랫폼은 데이터를 실시간으로 스트리밍하고 처리..
Jib 이란Jib은 Docker Daemon 없이 자바 애플리케이션에 최적화된 도커 이미지를 빌드하고 Docker 허브 or 외부 레지스트리에 저장하는 플러그인입니다.Gradle, Maven과 같은 빌드 툴과 함께 사용됩니다. 왜 Docker Daemon이 필요 없는가!1. 빌드 방식 차이Dockfile을 통한 전통적인 방법 : Docker에서는 Dockerfile을 작성하고, docker build 명령어를 통해 이미지를 빌드합니다. 해당 과정에서 Docker Daemon이 필요하며, 도커 데몬을 통해 이미지를 빌드하고 레이어를 관리합니다.Jib 방법: Jib은 직접적으로 이미지를 빌드하여 Docker Daemon과 상호작용하지 않습니다. Jib은 자바 애플리케이션을 직접 분석하여, Docker 이미지..
