약 10년 전 구매했던 구형 노트북을 포맷하고, Arch Linux OS를 설치해보았습니다. 아래 가이드는 초보자도 쉽게 따라할 수 있도록 구성되었습니다. 참고사이트: https://wiki.archlinux.org/title/Installation_guide_(한국어) 1. 부팅 가능한 USB 생성 (Windows 환경에서 진행) 필요 ...

8.1 멱등적 프로듀서 ✨ 8.1.1 멱등적 프로듀서란 🤔 멱등성은 동일한 작업을 여러 번 실행해도 결과가 동일한 작업을 의미 데이터베이스 예시 -- 멱등적이지 않음 (실행할 때마다 결과가 달라짐) UPDATE t SET x = x + 1 WHERE y = 5; -- 멱등적임 (여러 번 실행해도 결과가 ...

(장애상황 1) 클라이언트가 브로커 중 하나와 연결이 끊어짐 ⚡ 1. 시나리오 환경설정 🛠️ 카프카 브로커1(kafka-docker-kafka-1) : localhost:9092 카프카 브로커2(kafka-docker-kafka2-1) : localhost:9093 프로듀서: 클러스터에 메시지를 전송 컨슈머: 클러스터에서 메시지를 ...

6.1 클러스터 멤버십 📡 브로커 목록 관리 카프카 클러스터의 브로커 목록은 ZooKeeper에서 관리하며 /brokers/ids 경로에 저장됨 브로커 ID 브로커는 생성 시 고유한 ID를 가짐 ID는 사용자가 직접 설정하거나, 자동으로 생성 가능 Ephemeral 노드 ZooKeeper는 브로커 ID를 Ephemeral ...

1.1. AdminClient 개요 💡 AdminClient의 주요 기능 토픽 조회, 생성, 삭제 클러스터 상세 정보 확인 ACL 및 설정 관리 비동기 처리 AdminClient의 메서드는 비동기로 작동하며, 결과를 Future 객체로 반환 반환된 Future 객체를 통해 작업 결과를 확인하거나, 취소 및 대기 가능 ...

1.1. 컨슈머와 컨슈머 그룹 🚗 컨슈머와 데이터 소비 컨슈머는 카프카 토픽의 데이터를 읽고 처리하는 역할을 함 메시지가 빠르게 쌓이면 처리 속도를 따라가지 못해 지연이 발생할 수 있음 여러 컨슈머를 활용하면 데이터를 병렬로 처리하여 성능을 향상시킬 수 있음 컨슈머 그룹 컨슈머 그룹은 병렬 처리를 위해 컨슈머를 그룹화한 단위...

1. 프로듀서 개요 📌 프로듀서의 역할: 데이터를 카프카 브로커에 전송 주요 개념 ProducerRecord: 카프카에 메시지를 작성하기 위한 객체 KafkaProducer: 프로듀서를 구성하고 브로커와 통신을 담당 파티션: 메시지가 저장되는 브로커의 논리적 단위 사용 예시 ...

1. 브로커 설정하기 ⚙️ 1-1. broker.id 브로커를 식별하는 고유 정수 값 클러스터 내 broker.id는 중복 불가 1-2. listeners 브로커가 클라이언트와 통신하기 위한 리스너 설정 프로토콜, 호스트이름, 포트를 정의 listener.security.protocol.map으로 리스너와 프로토콜 매핑 필요...

1. WSL 설치 Microsoft 공식 문서 참고 2. Java 설치 및 확인 OpenJDK 설치 sudo apt update && sudo apt install openjdk-17-jdk Java 버전 확인 java -version 3. 작업 디렉토리 생성 home/<user>...

데이터를 이동시키는 작업에 더 적은 노력을 들일수록 핵심 비즈니스에 더욱 집중할 수 있다. 1. 카프카란 무엇인가? 🤔 발행/구독 메시지 전달 시스템 메시지 큐를 관리하며 브로커를 통해 데이터를 발행자와 구독자 간에 중계 데이터 생성과 처리를 분리하고 효율적이고 유연하게 관리 1.1 발행/구독 시스템의 필요성 전통적인 방식은 ...