Kafka Connect

카프카 커넥트란

카프카 메세지(Kafka Message)로 파이프라인 아키텍쳐를 보다 적은 비용으로 보다 쉽게 구현하게 도와주는 것을 말합니다.

Kafka Connect

 

특징

• 데이터 중심 파이프라인 : 카프카 커넥트를 이용해 카프카로 데이터를 보내거나, 카프카로 데이터를 가져옴
• 유연성 : 커넥트는 테스트를 위한 단독 모드(standalone mode)와 대규모 운영 환경을 위한 분산 모드(distributed mode)를 제공
• 재사용성과 확장성 : 커넥트는 기존 커넥터를 활용할 수도 있고 운영 환경에서의 요구사항에 맞춰 확장이 가능
• 편리한 운영과 관리 : 카프카 커넥트가 제공하는 REST API로 빠르고 간단하게 커넥트 운영 가능
• 장애 및 복구 : 카프카 커넥트를 분산 모드로 실행하면 워커 노드의 장애 상황에도 메타데이터를 백업함으로써 대응 가능하며 고가용성 보장

 

커넥터(Connector)

카프카 커넥트는 커넥터로 구성되어있는 프레임워크이며 커넥터를 동작시키는 역할을 합니다.

• 소스 커넥터 : 외부 시스템에 담긴 데이터를 카프카 클러스터로 담아주는 프로듀서의 역할을 하는 커넥터
• 싱크 커넥터 : 카프카 클러스터에 있는 데이터를 외부 시스템으로 보내는 컨슈머의 역할을 하는 커넥터 

Kafka Connector

 

커넥트의 내부 동작 원리

카프카 커넥트는 내부적으로 워커 단위로 이루어져 있습니다. 워커는 카프카 커넥트 프로세스가 실행되는 서버 또는 인스턴스를 의미합니다. 이러한 워커 내부는 커넥터와 테스크로 이루어져 있습니다.

• 커넥터 : 데이터를 어디에서 어디로 복사 하는지를 담당
• 테스크 : 커넥터가 정의한 작업을 직접 수행

카프카 커넥트는 다수의 커넥터와 다수의 테스크를 지닐 수 있는 워커를 한 개 또는 여러 개를 가지며 아키텍쳐를 형성하고 데이터를 처리 한다.

커넥터와 테스크로 이루어진 워커

 

데이터 처리가 호출되면 워커 내부의 커넥터들에 의해 테스크들이 생성되고, 파이프라인이 구동된다. 그 후 테스크 내부에서는 외부 시스템의 메시지를 변화시키는 컨버터 처리가 발생한 후 전송이 일어나는 원리이다.

카프카 커넥트의 데이터 처리 과정

참고 블로그

 

https://minkwon4.tistory.com/319