쉼터

apiVersion: v1 kind: Secret metadata: name: s3 namespace: digdag-jobs type: Opaque stringData: id: ****************** secret: ************************************ --- apiVersion: v1 kind: Pod metadata: name: example namespace: digdag-jobs spec: restartPolicy: Never imagePullSecrets: - name: dockercfg volumes: - name: s3-mount emptyDir: {} containers: - name: nginx-container image: nginx volumeMo..

nslookup 명령을 제공하는 컨테이너를 실행하도록 kubectl run을 이용하자 $ kubectl run -i --tty --image busybox:1.28 dns-test --restart=Never --rm - nslookup web-0.nginx 입력 Server: 10.0.0.10 Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local Name: web-0.nginx Address 1: 10.244.1.6 - nslookup web-1.nginx 입력 Server: 10.0.0.10 Address 1: 10.0.0.10 kube-dns.kube-system.svc.cluster.local Name: web-1.nginx Address 1:..

https://timewizhan.tistory.com/m/entry/Kubernetes-Job-CronJob [Kubernetes] Job & CronJob 이번 포스팅에서는 k8s의 Job과 CronJob에 대해 알아보려고 한다. Job Job은 하나 이상의 Pod가 지정된 수의 Pod가 정상적으로 종료하는 것을 관리한다. 때문에 Job이 생성되는 시점에 같이 만들어지는 Po timewizhan.tistory.com https://kubernetes.io/docs/tasks/job/parallel-processing-expansion/ Parallel Processing using Expansions kubernetes.io https://kubernetes.io/ko/docs/concepts/wor..

https://airflow.apache.org/docs/stable/lineage.html Lineage — Airflow Documentation airflow.apache.org https://pypi.org/project/atlasclient/ atlasclient Apache Atlas client pypi.org from atlasclient.client import Atlas client = Atlas('xxx.xxx.xxx.xxx', port=21000, username='admin', password='admin') # client.entity_guid().status params = {'typeName': 'DB', 'attrName': 'name', 'attrValue': 'Loggi..

https://github.com/GoogleCloudPlatform/bigquery-oreilly-book/tree/master/blogs/bigquery_backup GoogleCloudPlatform/bigquery-oreilly-book Source code accompanying: BigQuery: The Definitive Guide by Lakshmanan & Tigani to be published by O'Reilly Media - GoogleCloudPlatform/bigquery-oreilly-book github.com

https://tech.gamevilcom2us.com/blog/3922 Google 클라우드 플랫폼 기반 빅데이터 시스템 구축기 HIVE 애널리틱스 HIVE는 인증, 멤버십, 프로모션, 빌링, 노티피케이션, 고객센터, 애널리틱스 등으로 구성된 모바일 게임 플랫폼입니다. HIVE 플랫폼을 이용해 게임을 개발하 tech.gamevilcom2us.com https://docs.google.com/presentation/d/11C_BKio0DZIop_ZjJk7ogxQtWV5qHIr-hHjw277z64k/htmlpresent 그들이 AWS 위에서 데이터 파이프라인을 운영하는법 (2019) 그들이 AWS 위에서 데이터 파이프 라인을 운영하는 법 Devops Korea Jun 8, 2019 1ambda @ yano..

https://jomuljomul.tistory.com/entry/Apache-Beam-Apache-Airflow-Apache-Atlas-%EC%84%A4%EB%AA%85 Apache Beam, Apache Airflow, Apache Atlas 설명 Apache Beam Apache Beam은 data processing pipeline을 정의할 수 있는 오픈소스 프로그래밍 모델이다. Apache Beam은 배치 프로세싱과 스트리밍 프로세싱을 모두 지원한다. Beam에서 pipeline을 정의한 후, Beam.. jomuljomul.tistory.com https://medium.com/@kiseon_twt/gcp-apache-beam-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-..

https://medium.com/dailymotion/getting-started-with-data-lineage-6307b2b429b3 Getting started with Data Lineage What is data lineage and how does it provide visibility at Dailymotion? medium.com

https://cce199.tistory.com/59 apache hudi 소개 hudi 소개(간단함) hudi는 현재 apache incubator project로서 "big data에 스트림 처리를 제공하며, 기존 batch보다 나은 최신데이터를 제공한다" 라고 나와있습니다. 말이 좀 어려울수도 있는데 hudi에 이름에 cce199.tistory.com https://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-hudi.html Hudi(인큐베이팅) - Amazon EMR Hudi(인큐베이팅) Apache Hudi는 증분 데이터 처리 및 데이터 파이프라인 개발을 간소화하는 데 사용되는 오픈 소스 데이터 관리 프레임워크로서 레코드 수준의 삽입, 업데이..

https://eksworkshop.com/advanced/410_batch/ EKSworkshop.com Amazon EKS Workshop In this workshop, we will explore multiple ways to configure VPC, ALB, and EC2 Kubernetes workers, and Amazon Elastic Kubernetes Service. eksworkshop.com https://medium.com/finda-tech/finda-msa%EB%A5%BC-%EC%9C%84%ED%95%9C-kubernetes-%EC%84%B8%ED%8C%85%EA%B3%BC-ci-cd-pipeline-%EA%B5%AC%EC%84%B1-%EA%B7%B8%EB%A6%AC%EA%B..