쉼터

https://timewizhan.tistory.com/m/entry/Kubernetes-Job-CronJob [Kubernetes] Job & CronJob 이번 포스팅에서는 k8s의 Job과 CronJob에 대해 알아보려고 한다. Job Job은 하나 이상의 Pod가 지정된 수의 Pod가 정상적으로 종료하는 것을 관리한다. 때문에 Job이 생성되는 시점에 같이 만들어지는 Po timewizhan.tistory.com https://kubernetes.io/docs/tasks/job/parallel-processing-expansion/ Parallel Processing using Expansions kubernetes.io https://kubernetes.io/ko/docs/concepts/wor..

https://airflow.apache.org/docs/stable/lineage.html Lineage — Airflow Documentation airflow.apache.org https://pypi.org/project/atlasclient/ atlasclient Apache Atlas client pypi.org from atlasclient.client import Atlas client = Atlas('xxx.xxx.xxx.xxx', port=21000, username='admin', password='admin') # client.entity_guid().status params = {'typeName': 'DB', 'attrName': 'name', 'attrValue': 'Loggi..

https://github.com/GoogleCloudPlatform/bigquery-oreilly-book/tree/master/blogs/bigquery_backup GoogleCloudPlatform/bigquery-oreilly-book Source code accompanying: BigQuery: The Definitive Guide by Lakshmanan & Tigani to be published by O'Reilly Media - GoogleCloudPlatform/bigquery-oreilly-book github.com

https://tech.gamevilcom2us.com/blog/3922 Google 클라우드 플랫폼 기반 빅데이터 시스템 구축기 HIVE 애널리틱스 HIVE는 인증, 멤버십, 프로모션, 빌링, 노티피케이션, 고객센터, 애널리틱스 등으로 구성된 모바일 게임 플랫폼입니다. HIVE 플랫폼을 이용해 게임을 개발하 tech.gamevilcom2us.com https://docs.google.com/presentation/d/11C_BKio0DZIop_ZjJk7ogxQtWV5qHIr-hHjw277z64k/htmlpresent 그들이 AWS 위에서 데이터 파이프라인을 운영하는법 (2019) 그들이 AWS 위에서 데이터 파이프 라인을 운영하는 법 Devops Korea Jun 8, 2019 1ambda @ yano..

https://jomuljomul.tistory.com/entry/Apache-Beam-Apache-Airflow-Apache-Atlas-%EC%84%A4%EB%AA%85 Apache Beam, Apache Airflow, Apache Atlas 설명 Apache Beam Apache Beam은 data processing pipeline을 정의할 수 있는 오픈소스 프로그래밍 모델이다. Apache Beam은 배치 프로세싱과 스트리밍 프로세싱을 모두 지원한다. Beam에서 pipeline을 정의한 후, Beam.. jomuljomul.tistory.com https://medium.com/@kiseon_twt/gcp-apache-beam-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0-..

https://medium.com/dailymotion/getting-started-with-data-lineage-6307b2b429b3 Getting started with Data Lineage What is data lineage and how does it provide visibility at Dailymotion? medium.com

https://cce199.tistory.com/59 apache hudi 소개 hudi 소개(간단함) hudi는 현재 apache incubator project로서 "big data에 스트림 처리를 제공하며, 기존 batch보다 나은 최신데이터를 제공한다" 라고 나와있습니다. 말이 좀 어려울수도 있는데 hudi에 이름에 cce199.tistory.com https://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-hudi.html Hudi(인큐베이팅) - Amazon EMR Hudi(인큐베이팅) Apache Hudi는 증분 데이터 처리 및 데이터 파이프라인 개발을 간소화하는 데 사용되는 오픈 소스 데이터 관리 프레임워크로서 레코드 수준의 삽입, 업데이..

https://eksworkshop.com/advanced/410_batch/ EKSworkshop.com Amazon EKS Workshop In this workshop, we will explore multiple ways to configure VPC, ALB, and EC2 Kubernetes workers, and Amazon Elastic Kubernetes Service. eksworkshop.com https://medium.com/finda-tech/finda-msa%EB%A5%BC-%EC%9C%84%ED%95%9C-kubernetes-%EC%84%B8%ED%8C%85%EA%B3%BC-ci-cd-pipeline-%EA%B5%AC%EC%84%B1-%EA%B7%B8%EB%A6%AC%EA%B..

https://swalloow.github.io/eks-kubeflow Swalloow Blog Personal Blog. About Data Science, Data Engineering swalloow.github.io https://eksworkshop.com/advanced/420_kubeflow/ EKSworkshop.com Amazon EKS Workshop In this workshop, we will explore multiple ways to configure VPC, ALB, and EC2 Kubernetes workers, and Amazon Elastic Kubernetes Service. eksworkshop.com https://lsjsj92.tistory.com/m/581 ku..

http://egloos.zum.com/mcchae/v/11261352 [Python] Redis rq 를 이용한 간단한 비동기 작업 큐 파이썬에서 비동기 작업 큐 라고 하면 가장 먼저 떠 오르는 것이 Celery 라는 것입니다. 그런데 위에 읽어보면 비동기 큐라기 보다는 "분산 작업 큐" 라는 것이 더 정확한 말입니다. 분산이라는 의� egloos.zum.com https://niceman.tistory.com/200 파이썬(Python) - Redis + RQ(Redis Queue) Task 연동 비동기 예제 소스 파이썬(Python) - Queue 서비스 필요성 오랜만에 포스팅을 작성하게 되었습니다. 최근 정규직으로 이직한지 얼마되지 않아 블로그 관리에 소홀했던 것 같습니다. 최근 업무에서 파이썬 ..