Kafka Connect란

MSA 로 구성된 환경에서 카프카를 활용하여 도메인 이벤트를 기반으로 처리를 할 땐 아래 요소들을 고민해야 한다. 어떤 방식으로 데이터를 주고 받을 것인지? (Full-Payload 방식 or Zero-Payload 방식) 토픽을 어떻게 나눌 것인지?(도메인 이벤트를 기준으로 나눌 것인지 or 도메인 기준으로 나눌 것인지) 위 두 가지 ...

https://jeonyoungho.github.io/posts/Kafka-도메인-이벤트-순서-보장하기 위 포스팅의 실제 도메인 이벤트 순서 보장 문제 해결 기록을 남기고자 합니다😀 배경 현재 MSA 환경에서 제품내 인사 데이터(코드, 조직, 구성원)는 Kafka 메시지 기반으로 동기화 되고 있다. cms 서비스로부터 인사 데이터 변경이 발생...

MSA환경에서 Kafka를 활용한 데이터 동기화 포스팅에서 MSA환경에서 카프카를 활용하여 두 마이크로서비스간의 데이터를 동기화하기 위한 방법들에 대해 알아보았고 아래 이미지처럼 4가지 경우의 수에 대해서 알아보았다. 도메인 이벤트별 토픽 나누는 방식에서 도출될 수 있는 문제(3, 4) 도메인 이벤트별 토픽을 나누는 방식(ex. order-cr...