아파치 카프카의 기본 구조

카프카의 기본 구조

카프카 내부에 데이터가 저장되는 파티션의 동작은 FIFO 방식의 큐 구조와 유사합니다.

• 프로듀서: 카프카에 데이터를 보내는 것입니다.
• 토픽
  • RDBMS의 테이블 같은 개념입니다.
  • 구분하고자 하는 데이터의 개념입니다.
  • 하나 이상의 파티션으로 구성되어 있습니다.
• 파티션
  • 토픽에 속한 레코드를 실제 저장소에 저장하는 가장 작은 단위입니다.
  • 큐 구조로 되어 있습니다.
• 컨슈머: 카프카 큐에서 데이터를 가져가는 것입니다.

중요: 프로듀서에서 토픽에 특정 메시지를 보낼 때 3개의 파티션 중 하나의 파티션에만 저장하게 됩니다. 컨슈머가 파티션의 데이터를 가져가더라도, 파티션의 데이터는 삭제되지 않고 유지됩니다. 그렇다면, 컨슈머는 어떻게 파티션의 데이터를 순차적으로 가져갈까요?

컨슈머는 파티션에 커밋을 통해서 어디까지 데이터를 가져갔는지 기록해 둡니다.

오늘은 카프카의 기본 구조에 대해 알게 되었습니다.

각각의 구조와 기능이 어떻게 되는지 인지하고 있어야 다음 강의에서 헷갈리지 않을 것으로 보이며, 정리한 내용은 숙지해 두어야겠습니다.

이 글은 인프런 최원영 님의 「아파치 카프카 애플리케이션 프로그래밍」을 들으며 정리한 노트입니다.