https://blog.naver.com/PostView.nhn?blogId=wideeyed&logNo=221565240108
Apache Airflow 소개 및 실습하기(기초)
Apache Airflow는 배치 스케쥴링(파이프라인) 플랫폼입니다실행할 Task(Operator)를 정의하고 순서에 ...
blog.naver.com
https://zzsza.github.io/data/2018/01/04/airflow-1/
Apache Airflow - Workflow 관리 도구(1)
오늘은 Workflow Management Tool인 Apache Airflow 관련 포스팅을 하려고 합니다. 일반적으로 데이터 ETL(Extract, Transform, Load) 과정을 통해 머신러닝 모델을 위한 Dataset을 만들곤 합니다. 또한 다양한 데이터베이스를 사용할 경우 한곳으로 모아서 작업을 해야하는 경우가 있습니다. 위와 같은 경우 여러개의 Sequential한 로직(앞의 output이 뒤의 input이 되는)이 존재하는데 이런 로직들
zzsza.github.io
airflow scheduler -D
airflow webserver -p 8080 -D
kill $(ps -ef | grep "airflow" | awk '{print $2}')
https://humbledude.github.io/blog/2019/07/12/airflow-on-k8s/
Kubernetes 위에서 Airflow 사용하기
회사에서 batch scheduler 로 Airflow 를 사용할 일이 있었다.나는 Kuberentes 를 공부하고자 하는 의도로 겸사겸사 Airflow 를 Kubernetes 위에서 운용하려고 했다.당시 때마침 Airflow 의 Kubernetes 지원이 시작되�
humbledude.github.io
https://hub.helm.sh/charts/stable/airflow/2.8.7
https://hub.helm.sh/charts/stable/airflow/2.8.7
hub.helm.sh
https://zzsza.github.io/mlops/2019/04/17/airflow-bigquery-operator/
Airflow BigQuery Operator의 이해
Apache Airflow의 BigQuery Operator에 대한 글입니다
zzsza.github.io
https://marclamberti.com/blog/airflow-kubernetes-executor/
Apache Airflow with Kubernetes Executor and MiniKube - Marc Lamberti
In this tutorial, we are going to see how to use Apache Airflow with Kubernetes Executor in order to make our Airflow cluster dynamic and resilient.
marclamberti.com
https://airflow.apache.org/docs/stable/howto/set-config.html##
Setting Configuration Options — Airflow Documentation
airflow.apache.org
https://airflow.apache.org/docs/stable/_modules/airflow/contrib/executors/kubernetes_executor.html
airflow.contrib.executors.kubernetes_executor — Airflow Documentation
airflow.apache.org
Airflow 보안 설정하기 (with RBAC) - YA-Hwang 기술 블로그
FAB가 제공하는 기능을 통해 Airflow에 기본 보안을 설정한다.
yahwang.github.io
https://towardsdatascience.com/kubernetesexecutor-for-airflow-e2155e0f909c
KubernetesExecutor for Airflow
Scale Airflow natively on Kubernetes
towardsdatascience.com
https://airflow.apache.org/docs/stable/configurations-ref.html
Configuration Reference — Airflow Documentation
airflow.apache.org
https://whitechoi.tistory.com/50
Apache Airflow를 이용한 데이터 워크플로우 자동화
Apache Airflow를 이용한 데이터 워크플로우 자동화 이 글에서는 데이터 워크플로우 관리도구인 Apache Airflow와 병렬 배치 데이터 전송 도구인 TreasureData의 Embulk를 이용해서 Cloud SQL에서 빅쿼리까지의
whitechoi.tistory.com
* DAG 정리 (broken 이슈)...
delete from xcom ;
delete from task_instance ;
delete from sla_miss ;
delete from log ;
delete from job ;
delete from dag_run ;
delete from dag_tag ;
delete from dag ;
'BigData' 카테고리의 다른 글
| ORC와 Parquet 파일 저장 형식 (0) | 2019.08.26 |
|---|---|
| Presto - Superset (0) | 2019.08.26 |
| CQRS & Event Sourcing (0) | 2019.08.08 |
| Apache Oozie (0) | 2019.08.05 |
| Hue(Hadoop User Experience) (0) | 2019.08.05 |