쿠...sal: [컴] kafka connector

카프카 커넥터 / task / 태스크 / 소스 / 싱크 / 상태확인 / 점검 / check

kafka connector

connector 의 task 는 다른 system 으로 data 를 복사하거나 다른 system 에서 data 를 복사해 가져오는 code 를 가지고 있다.
Task들은 설정값(configuration) 을 그들의 parent connector 로 부터 받고, Kafka Connect job 의 work 일부를 Task들 에 배정(assign) 한다.
Kafka Connect framework 는 Task 로 부터 data 를 가져오거나(pull) Task 에게로 data 를 준다.(push)
Task 는 reconfiguration 요청에 대해 응답할 수 있어야만 한다.

kafka connector 는 data 를 kafka topics으로 넣고, kafka topics 에서 data를 다른 외부 system 으로 export 할 수 있도록 해주는 api 를 제공하는 component 이다.

Source connector는 (Source Task 들의 도움을 받아) 데이터를 카프카로 가져오는 역할을 한다.
Sink Connector 는 (Sink Task 들의 도움을 받아) 카프카에서 데이터를 내보내는 역할을 한다.
Sink Connector 는 kafka topic들의 데이터를 2차 인덱스(Elasticsearch 같은)나 ‘batch systmes’(hadoop 같은) 등으로 전송한다.
Kafka Connect는 Kafka와 주고받는 스트리밍 데이터에 초점을 맞추므로서 고품질, 신뢰성 및 고성능 connector plugins 를 쉽게 작성할 수 있게 해 준다.

connector 의 상황을 curl 로 확인할 수 있다.

$ curl localhost:8083/connectors
['xxx-connector']

$ curl localhost:8083/connectors/xxx-connector/status | jq