Arch Linux에서 AWS CLI 설치 및 EKS 구축 구축 과정 기록 🔑 1. IAM User 생성 AWS IAM에서 관리 권한이 있는 사용자를 생성 IAM 콘솔 접속 AWS 콘솔에서 IAM 서비스로 이동 사용자 추가 사용자 이름: eks-user (예시) 권한 설정: Admin...

다양한 데스크톱 환경이 있지만 커스터마이징을 고려해 KDE를 선택하였습니다. KDE 설치하기 🖥️ 1. 시스템 업데이트 sudo pacman -Syu 2. X 서버 설치 1. Xorg 설치 sudo pacman -S xorg-server xorg-apps xorg-xinit 2. Xorg 설치 확인 startx 설치 후, X Serv...

약 10년 전 구매했던 구형 노트북을 포맷하고, Arch Linux OS를 설치해보았습니다. 아래 가이드는 초보자도 쉽게 따라할 수 있도록 구성되었습니다. 참고사이트: https://wiki.archlinux.org/title/Installation_guide_(한국어) 1. 부팅 가능한 USB 생성 (Windows 환경에서 진행) 필요 ...

8.1 멱등적 프로듀서 ✨ 8.1.1 멱등적 프로듀서란 🤔 멱등성은 동일한 작업을 여러 번 실행해도 결과가 동일한 작업을 의미 데이터베이스 예시 -- 멱등적이지 않음 (실행할 때마다 결과가 달라짐) UPDATE t SET x = x + 1 WHERE y = 5; -- 멱등적임 (여러 번 실행해도 결과가 ...

(장애상황 1) 클라이언트가 브로커 중 하나와 연결이 끊어짐 ⚡ 1. 시나리오 환경설정 🛠️ 카프카 브로커1(kafka-docker-kafka-1) : localhost:9092 카프카 브로커2(kafka-docker-kafka2-1) : localhost:9093 프로듀서: 클러스터에 메시지를 전송 컨슈머: 클러스터에서 메시지를 ...

6.1 클러스터 멤버십 📡 브로커 목록 관리 카프카 클러스터의 브로커 목록은 ZooKeeper에서 관리하며 /brokers/ids 경로에 저장됨 브로커 ID 브로커는 생성 시 고유한 ID를 가짐 ID는 사용자가 직접 설정하거나, 자동으로 생성 가능 Ephemeral 노드 ZooKeeper는 브로커 ID를 Ephemeral ...

1.1. AdminClient 개요 💡 AdminClient의 주요 기능 토픽 조회, 생성, 삭제 클러스터 상세 정보 확인 ACL 및 설정 관리 비동기 처리 AdminClient의 메서드는 비동기로 작동하며, 결과를 Future 객체로 반환 반환된 Future 객체를 통해 작업 결과를 확인하거나, 취소 및 대기 가능 ...

1.1. 컨슈머와 컨슈머 그룹 🚗 컨슈머와 데이터 소비 컨슈머는 카프카 토픽의 데이터를 읽고 처리하는 역할을 함 메시지가 빠르게 쌓이면 처리 속도를 따라가지 못해 지연이 발생할 수 있음 여러 컨슈머를 활용하면 데이터를 병렬로 처리하여 성능을 향상시킬 수 있음 컨슈머 그룹 컨슈머 그룹은 병렬 처리를 위해 컨슈머를 그룹화한 단위...

1. 프로듀서 개요 📌 프로듀서의 역할: 데이터를 카프카 브로커에 전송 주요 개념 ProducerRecord: 카프카에 메시지를 작성하기 위한 객체 KafkaProducer: 프로듀서를 구성하고 브로커와 통신을 담당 파티션: 메시지가 저장되는 브로커의 논리적 단위 사용 예시 ...

1. 브로커 설정하기 ⚙️ 1-1. broker.id 브로커를 식별하는 고유 정수 값 클러스터 내 broker.id는 중복 불가 1-2. listeners 브로커가 클라이언트와 통신하기 위한 리스너 설정 프로토콜, 호스트이름, 포트를 정의 listener.security.protocol.map으로 리스너와 프로토콜 매핑 필요...