쉼터

from airflow import DAG from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta import boto3, json, time glue_client = boto3.client('glue', region_name='us-east-1') default_args = { 'owner': 'SAM', 'start_date': datetime(2019, 5, 27) # days_ago(n=1) } default_schedule_interval = "0 15 * * *" # '@daily' def run_customer_job(random_base): job = glue_cl..

engineering.pmc.com/2017/03/playing-around-with-apache-airflow-bigquery-62/ Playing around with Apache Airflow & BigQuery My Confession I have a confession….my crontab is a mess and it’s keeping me up at night….don’t worry, it’s not really keeping me up….but you might know what i me… engineering.pmc.com

gist.github.com/ddelange/6e33f8f0df3a97d4a371d055aa2d58ac Airflow Slack notifications Airflow Slack notifications. GitHub Gist: instantly share code, notes, and snippets. gist.github.com

laptrinhx.com/using-aws-cdk-to-deploy-your-amazon-managed-workflows-for-apache-airflow-environment-2530058942/ Using AWS CDK to deploy your Amazon Managed Workflows for Apache Airflow environment Using AWS CDK to deploy your Amazon Managed Workflows for Apache Airflow environment What better way to celebrate CDK Day tomorrow, than to return to a previous blog where I... laptrinhx.com github.com/..

toss.im/slash-21 토스 개발자 컨퍼런스 SLASH 4월 28일부터 3일 간 토스의 기술과 경험을 소개합니다. toss.im

www.datadoghq.com/blog/eks-fargate-monitoring/ Monitor Amazon EKS on AWS Fargate with Datadog Monitor containerized applications running on Amazon EKS using AWS Fargate with Autodiscovery and APM. www.datadoghq.com

EKS 나 GKS 혹은 K8s 는 API 구조상 약간 다르긴 하지만, Vendor Lock in 빠지지는 않는다. patchandpray.com/post/installing-airflow-2-using-helm/ Patch and Pray Installing Airflow 2.0 using Helm Note: As with everything in life old stuff becomes stale and outdated. Maybe also this article. Check versions and sources to see if the info in here is still applicable. So airflow 2.0 is released. Joy. With it it’s tim patchandp..

참고로 crontab 등록시에는 -it 옵션을 빼야 정상 동작함을 잊지 말자. crontab의 경우 interactive 환경을 쓸 필요가 없기 때문에 -i 옵션을 넣어줄 필요가 없으며 terminal 이용도 필요 없기 때문에 -t 옵션도 빼주자. 추가로 docker container를 실행하면 date가 맞지 않는 문제가 발생한다. 서비스 실행시에는 치명적인 문제가 될 수 있으며 처음 docker container를 만들때 "-e TZ=Asia/Seoul" 이 구문을 추가해 주면 된다. $> sudo docker run -it --name=test -e TZ=Asia/Seoul -p 8000:8000 -v work:/work test:0.1 docker container는 실행 시마다 다른 mac-ad..

Step1: Install EPEL Repo on the EC2 instance Step2: Install Google Authenticator on the EC2 instance Step3: Configure EC2 SSH to use Google Authentication module Step4: Configure Google Authenticator Step5: Restart SSH services on the EC2 server Step6: SSH to validate the AWS MFA setup. www.middlewareinventory.com/blog/aws-mfa-ssh-ec2-setup/ Enabling Two Factor Authentication for EC2 SSH - AWS M..

dhna.tistory.com/334 [리눅스] socat 사용하기 저는 socat을 사용하게된 이유는 udp를 사용하는 프로그램이 serial포트로 데이터를 전송해주는 방법이 필요했기 사용을 하게 됐습니다. 만약 이런게 없다면, 직접 프로그램을 작성하던가 udp 프로 dhna.tistory.com sangpire.github.io/2016/10/07/socat/ socat 명령어 로컬 파일을 서버로 전송하려고 하니 socat이 가장 먼저 생각이 났습니다.socat 은 Multipurpose relay (SOcket CAT) 이라고 합니다. ‘다목적 중계기’ !? 원래 사용한적이 있던 명령어지만 또 까먹어서 사 sangpire.github.io wiki.pchero21.com/wiki/Socat Soca..