Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기


제목	Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기2021-11-12 16:15
작성자	happydaddy
https://engineering.ab180.co/stories/kafka-consumer-proxy Kafka consumer group과 partition 수의 관계, 그리고 이로 인해 생기는 auto scaling의 어려움, 이를 해결하기 위한 새로운 아키텍처 도입기 입니다. - Airbridge 서비스와 Workload 소개 - 기존 아키텍처의 문제점 - 새로운 아키텍처 제안 - 1안: Spark streaming과 같은 driver, executor model - 2안: Kafka consumer와 application server decouple model - 2안을 선택한 이유 - Kafka consumer와 application server decouple model 아키텍처 - 새로운 아키텍처에서의 고려 사항 - 경험한 어려움 - 새 아키텍처 적용 후 결과 - 앞으로 더 시도해봐야 할 것

이전	Deno 1.8 릴리즈	happydaddy	2021-03-05
-	Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기	happydaddy	2021-11-12
다음	Hello IPv6 : IPv4 사용자를 위한 최소한의 자습서	happydaddy	2021-10-12

Tech News