kafkacat 사용방법 (메시지 보내고 받기 테스트)
은 아파치 카프카를 쉽게 테스트하고 디버깅하는데 유용하게 사용할 수 있는 도구이다. 명령어를 통해서 메시지를 보내고 받거나 메타데이터 목록을 확인할 수 있다. 기본적인 사용방밥에 대해
blog.advenoh.pe.kr
kcat -b pricing.net -t new -C -o end -f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\tPartition: %p\tOffset: %o\n--\n'
kcat -L -b pricing.net
[Kafka] Kafka Lag exporter를 이용한 Kafka Consumer Lag 모니터링
Kafka Consumer Lag 의 개념과 이를 모니터링 할 수 있는 Kafka Lag exporter를 소개합니다.
velog.io
https://soft.plusblog.co.kr/29
[Kafka] #6 아파치 카프카 컨슈머와 컨슈머 그룹(Apache Kafka Consumer & Consumer Group)
카프카로 데이터를 전송하는 프로듀서와 다르게 카프카에서 데이터를 읽어가는 컨슈머는 컨슈머 그룹이라는 개념에 대해서 먼저 알아야 할 필요가 있다. [Kafka] #1 - 아파치 카프카(Apache Kafka)란
soft.plusblog.co.kr
https://data-newbie.tistory.com/237
[Python] Kafka offset 확인
Producer from time import sleep from json import dumps from kafka import KafkaProducer import numpy as np producer = KafkaProducer(bootstrap_servers=['localhost:9092'], key_serializer = None , value..
data-newbie.tistory.com
https://www.letmecompile.com/kafka-consumer-offset-reset/
카프카(Kafka) Consumer offset reset 방법
카프카 Consumer를 사용하다 보면 offset을 reset해야하는 경우가 종종 있다. 개발 테스트를 진행하다가 필요에의해 offset을 리셋 실제 production에서 사용중에 예상치 못한 에러 등으로 데이터 누락이
www.letmecompile.com
'BigData' 카테고리의 다른 글
| Knowage (0) | 2022.04.05 |
|---|---|
| image restoration github (0) | 2022.03.21 |
| EDA (0) | 2022.03.07 |
| Spark 3.0 (0) | 2022.02.21 |
| Redis HyperLogLog - Unique Data Check (0) | 2021.11.11 |