AWS DMS with MSK (Kafka, zookeeper)

https://cloud.hosting.kr/aws-database-migration-service-dms/

https://cloud.hosting.kr/aws-database-migration-service-dms/

 

 

https://cloud.hosting.kr/aws-dms-database-migration-service/

AWS DMS (Database Migration Service) 사용자 가이드 - 메가존 AWS Cloud

 

 

https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Target.Kinesis.html

https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Target.Kinesis.html

 

https://aws.amazon.com/ko/blogs/database/use-the-aws-database-migration-service-to-stream-change-data-to-amazon-kinesis-data-streams/

Use the AWS Database Migration Service to Stream Change Data to Amazon Kinesis Data Streams | Amazon Web Services

 

https://aws.amazon.com/ko/blogs/big-data/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/?nc1=h_ls

Build and automate a serverless data lake using an AWS Glue trigger for the Data Catalog and ETL jobs | Amazon Web Services

 

 

https://blog.voidmainvoid.net/295

AWS kinesis Firehose 실습 및 예제 코드(Java), 장단점, 가격

 

 

https://blog.voidmainvoid.net/299?category=686562

AWS MSK(Kafka) 실습 및 예제 코드(Java), 장단점, 가격

 

 

https://debezium.io/documentation/reference/1.1/connectors/postgresql.html

Debezium Connector for PostgreSQL :: Debezium Documentation

 

 

https://kubernetes.io/ko/docs/tutorials/stateful-application/zookeeper/

분산 시스템 코디네이터 ZooKeeper 실행하기

 

Apache Kafka 엔드포인트 설정

 

1. AWS DMS 콘솔의 엔드포인트 설정 또는 AWS DMS CLI의 --kafka-settings 옵션을 통해 연결 세부 정보를 지정할 수 있습니다. 각 설정의 요구 사항은 다음과 같습니다.

• Broker – 양식 broker-hostname:port에서 브로커 위치를 지정합니다. 예: "ec2-12-345-678-901.compute-1.amazonaws.com:2345". 이는 클러스터에 있는 임의의 브로커의 위치가 될 수 있습니다. 모든 클러스터 브로커는 주제로 마이그레이션된 데이터 레코드의 분할을 처리하기 위해 통신합니다.

• Topic – (선택 사항) 최대 길이 255개 문자 및 기호로 주제 이름을 지정합니다. 마침표(.), 밑줄(_) 및 빼기(-)를 사용할 수 있습니다. 마침표(.) 또는 밑줄(_)이 있는 주제 이름이 내부 데이터 구조에서 충돌할 수 있습니다. 주제 이름에 이러한 기호 중 하나만 사용하고 둘 다 사용하지는 마십시오. 주제 이름을 지정하지 않으면 AWS DMS는 "kafka-default-topic"를 마이그레이션 주제로 사용합니다.

  참고

  AWS DMS가 지정된 마이그레이션 주제 또는 기본 주제를 생성하도록 하려면 Kafka 클러스터 구성 중에 auto.create.topics.enable = true를 설정합니다. 자세한 내용은 Apache Kafka를 AWS Database Migration Service용 대상으로 사용할 때 적용되는 제한 사항 단원을 참조하십시오.

 

2. Replication Factor가 2이고, min.insync.replicas를 2로 설정하게 되었을때, 브로커 노드 한대만 다운되더라도 프로듀서가 메시지를 보낼 수 없게 됩니다. 그래서 저는 RF를 2로 운영 할 경우 min.insync.replicas를 2로 설정하기 보다는 1로 설정하는 것이 최적의 값이라고 생각합니다. 

 

** 권장설정 (DMS 에서 'auto.create.topics.enable' 은 아직 연동되지 않는 것 같다.)

auto.create.topics.enable = true
default.replication.factor=3
min.insync.replicas=1
num.io.threads=8
num.network.threads=5
num.partitions=1
num.replica.fetchers=2
socket.request.max.bytes=104857600
unclean.leader.election.enable=true

 

** DMS with MSK 체크 사항

  1. 토픽을 자동생성할 수 없다.

  2. DMS Task CloudWatch 를 활성화를 하면 MSK 연결시, 메타정보가 계속 넘어간다. 활성화를 끈 후에도....

  3. output endpoint 생성시에, MSK 에 대한 브로커는 'b-1, b-2' 를 제외한 호스트 정보만 등록한다.

    ex) dhk-dp-kafka-cluster.wk6nuw.c8.kafka.us-east-1.amazonaws.com:9092

 

 

https://docs.aws.amazon.com/ko_kr/dms/latest/userguide/CHAP_Target.Kafka.html

Apache Kafka를 AWS Database Migration Service용 대상으로 사용 - AWS Database Migration Service

 

 

https://www.popit.kr/kafka-%EC%9A%B4%EC%98%81%EC%9E%90%EA%B0%80-%EB%A7%90%ED%95%98%EB%8A%94-producer-acks/

Kafka 운영자가 말하는 Producer ACKS | Popit

 

** kafka-manager with EKS on Fargate

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: kafka-manager
  namespace: digdag-jobs
spec:
  replicas: 1
  podManagementPolicy: Parallel
  serviceName: kafka-manager
  selector:
    matchLabels:
      app: kafka-manager
  template:
    metadata:
      labels:
        app: kafka-manager
    spec:
      containers:
      - name: kafka-manager
        image: solsson/kafka-manager@sha256:9da595ecbb733074a1d3c6091a1e0c384da4f4e1f19f4e16276062278da8e592
        ports:
        - containerPort: 8080
        env:
        - name: ZK_HOSTS
          value: z-3.dhk-dp-kafka-cluster.wk6nuw.c8.kafka.us-east-1.amazonaws.com:2181,z-2.dhk-dp-kafka-cluster.wk6nuw.c8.kafka.us-east-1.amazonaws.com:2181,z-1.dhk-dp-kafka-cluster.wk6nuw.c8.kafka.us-east-1.amazonaws.com:2181
        command:
        - ./bin/kafka-manager
        - -Dhttp.port=8080

 

 

** MSK REST Proxy

docker run -d -p 8082:8082 --name=kafka-rest2 -e KAFKA_REST_ZOOKEEPER_CONNECT='' -e KAFKA_REST_BOOTSTRAP_SERVERS=PLAINTEXT://b-3.xxx:9092,PLAINTEXT://b-2.xxx:9092 -e KAFKA_REST_LISTENERS=http://localhost:8082 -e KAFKA_REST_DEBUG=true confluentinc/cp-kafka-rest:latest

used the chart version 0.1.0 of cp-helm-charts and set the image tag at 5.2.2

[env]
  configurationOverrides:
    bootstrap.servers: PLAINTEXT://xxx.amazonaws.com:9092,PLAINTEXT://xxx.amazonaws.com:9092
    zookeeper.connect: ""