Infra/Kafka

Infra/Kafka

[Kafka] Docker Compose를 통해 Kafka 구축하기 - Kraft 모드

Kafka 3개의 Broker 환경 구축하기 - Kraft ModeDocker compose를 통해 Kafka 환경을 구축하려고 합니다.Kraft ModeZoopkeeper가 아닌 Kraft 모드로 3개의 Broker 구축NetworkKafka 서비스들이 서로 통신할 수 있도록 독립적인 도커 네트워크를 설정합니다. (kafka_network)VolumeKafka 서비스의 데이터 저장을 위해 각 Broker 별로 도커 볼륨을 설정합니다. (Kafka00, Kafka01, Kafka02)Kafka Kraft 모드란KRaft(Kafka Raft) 모드는 기존의 ZooKeeper에 의존하던 Kafka의 메타데이터 관리를 Kafka 자체에서 처리하도록 하는 새로운 아키텍처입니다. KRaft 모드는 Kafka 2...

Infra/Kafka

[Kafka] Kafka 개념 이해하기, Producer, Consumer, Broker

Kafka란대규모 실시간 데이터 스트리밍을 처리하고 관리하는 분산 이벤트 스트리밍 플랫폼입니다. 링크드인(LinkedIn)에서 개발되었으며, 현재 오픈 소스로 제공되어 널리 사용되고 있습니다.사용 사례로그 및 메트릭 수집대규모 시스템에서 생성되는 로그와 메트릭 데이터를 카프카에 전송하여 중앙에서 실시간으로 수집, 처리, 분석실시간 데이터 파이프라인데이터를 한 시스템에서 다른 시스템으로 실시간으로 전달하는 데이터 파이프라인 구축에 사용됩니다.실시간 스트리밍 분석금융 거래, IoT 센서 데이터 등 실시간 스트리밍 데이터를 처리하고 분석하는 데 사용됩니다.메시지 큐서로 독립적인 서비스 간의 메시지 교환을 위해 사용됩니다.  이벤트 스트리밍 플랫폼이란이벤트 스트리밍 플랫폼은 데이터를 실시간으로 스트리밍하고 처리..

kylo
'Infra/Kafka' 카테고리의 글 목록