BigData

kafkacat & Kafka Lag exporter

Kyle79 2022. 3. 8. 09:37

 

 

https://blog.advenoh.pe.kr/cloud/kafkacat-%EC%82%AC%EC%9A%A9%EB%B0%A9%EB%B2%95-%EB%A9%94%EC%8B%9C%EC%A7%80-%EB%B3%B4%EB%82%B4%EA%B3%A0-%EB%B0%9B%EA%B8%B0-%ED%85%8C%EC%8A%A4%ED%8A%B8/

 

kafkacat 사용방법 (메시지 보내고 받기 테스트)

은 아파치 카프카를 쉽게 테스트하고 디버깅하는데 유용하게 사용할 수 있는 도구이다. 명령어를 통해서 메시지를 보내고 받거나 메타데이터 목록을 확인할 수 있다. 기본적인 사용방밥에 대해

blog.advenoh.pe.kr

 

 

 

 

kcat -b pricing.net -t new -C -o end -f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\tPartition: %p\tOffset: %o\n--\n'

kcat -L -b pricing.net

 

 

https://velog.io/@tedigom/Kafka-Kafka-Lag-exporter%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81

 

[Kafka] Kafka Lag exporter를 이용한 Kafka Consumer Lag 모니터링

Kafka Consumer Lag 의 개념과 이를 모니터링 할 수 있는 Kafka Lag exporter를 소개합니다.

velog.io

 

https://soft.plusblog.co.kr/29

 

[Kafka] #6 아파치 카프카 컨슈머와 컨슈머 그룹(Apache Kafka Consumer & Consumer Group)

카프카로 데이터를 전송하는 프로듀서와 다르게 카프카에서 데이터를 읽어가는 컨슈머는 컨슈머 그룹이라는 개념에 대해서 먼저 알아야 할 필요가 있다. [Kafka] #1 - 아파치 카프카(Apache Kafka)란

soft.plusblog.co.kr

 

 

https://data-newbie.tistory.com/237

 

[Python] Kafka offset 확인

Producer from time import sleep from json import dumps from kafka import KafkaProducer import numpy as np producer = KafkaProducer(bootstrap_servers=['localhost:9092'], key_serializer = None , value..

data-newbie.tistory.com

 

 

https://www.letmecompile.com/kafka-consumer-offset-reset/

 

카프카(Kafka) Consumer offset reset 방법

카프카 Consumer를 사용하다 보면 offset을 reset해야하는 경우가 종종 있다. 개발 테스트를 진행하다가 필요에의해 offset을 리셋 실제 production에서 사용중에 예상치 못한 에러 등으로 데이터 누락이

www.letmecompile.com