데이터 처리 기술 이해 mizykk.tistory.com/4 [ADP] 2과목 1장. 데이터 처리 기술 이해 :: 데이터 처리 프로세스 1장. 데이터 처리 프로세스 ETL : Extraction, Transformation, and Load - 데이터 이동과 변환 - Extraction(추출) : 데이터 획득 - Transformation(변형) : 데이터 클렌징/형식 변환/표준화, 통합 또는 비즈니스.. mizykk.tistory.com BigData 2021.01.18
AWS EKS on Fargate 로깅 docs.aws.amazon.com/eks/latest/userguide/fargate-logging.html Fargate logging - Amazon EKS Fargate logging Amazon EKS with Fargate supports a built-in log router, which means there are no sidecar containers to install or maintain. The log router allows you to use the breadth of services at AWS for log analytics and storage. You can stream logs f docs.aws.amazon.com observability.workshop.aws/en/.. AWS 2020.12.14
AWS Lambda 업데이트 – 최대 10GB 메모리와 6 개 vCPU로 함수 실행 가능 aws.amazon.com/ko/blogs/korea/new-for-aws-lambda-functions-with-up-to-10-gb-of-memory-and-6-vcpus/ AWS Lambda 업데이트 – 최대 10GB 메모리와 6 개 vCPU로 함수 실행 가능 | Amazon Web Services AWS Lambda는 구축하려는 항목에 집중할 수 있도록 가용성과 확장성이 뛰어난 컴퓨팅 인프라에서 프로그램 코드를 실행합니다. 대용량 메모리 또는 컴퓨팅 집약적인 워크로드에 대해 Lambda 함수를 aws.amazon.com AWS 2020.12.14
Amazon EKS Distro: Amazon EKS에서 사용하는 오픈소스 Kubernetes 배포판 aws.amazon.com/ko/blogs/korea/amazon-eks-distro-the-kubernetes-distribution-used-by-amazon-eks/?nc1=b_rp Amazon EKS Distro: Amazon EKS에서 사용하는 오픈소스 Kubernetes 배포판 | Amazon Web Services 그동안 고객사들은 Kubernetes 인프라 관리의 무거운 부담을 덜면서 자신의 고객을 위한 혁신적 솔루션 개발에 더 집중하고 싶다는 피드백을 AWS에 전달했습니다. 이것이 바로 Amazon Elastic Kubernetes Se aws.amazon.com github.com/aws/eks-distro aws/eks-distro Amazon EKS Distro (EKS-D) is .. AWS 2020.12.14
Amazon EKS 기반 AWS Fargate 서울 리전 출시 aws.amazon.com/ko/blogs/korea/amazon-eks-on-aws-fargate-seoul-region/?nc1=b_rp Amazon EKS 기반 AWS Fargate 서울 리전 출시 | Amazon Web Services Amazon Elastic Kubernetes Service (EKS) 기반 AWS Fargate 서비스가 서울 리전에 출시하였습니다. Amazon EKS는 AWS에서 Kubernetes를 쉽게 실행할 수 있는 관리 형 서비스입니다. AWS Fargate는 서버리스형 컨테이너 서 aws.amazon.com AWS 2020.12.14
Amazon EMR on Amazon Elastic Kubernetes Service(EKS) aws.amazon.com/ko/blogs/korea/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/?nc1=b_rp 새로운 기능 — Amazon EMR on Amazon Elastic Kubernetes Service(EKS) | Amazon Web Services 수만 명의 고객이 Amazon EMR을 사용하여 Apache Spark, Hive, HBase, Flink,Hudi 및 Presto와 같은 프레임워크에서 빅 데이터 분석 애플리케이션을 대규모로 실행합니다. EMR은 이러한 프레임워크의 프로비저닝 aws.amazon.com AWS 2020.12.14
2020-11-20 Docker 변경 안내 2020 년 11 월 20 일에 Docker Hub의 익명 및 무료 인증 사용에 대한 비율 제한이 적용되었습니다. 익명 및 무료 Docker Hub 사용자는 6 시간당 100 개 및 200 개의 컨테이너 이미지 가져 오기 요청으로 제한됩니다. 이러한 변경 사항의 영향을받는 경우 다음 오류 메시지가 표시됩니다. ERROR: toomanyrequests: Too Many Requests. 또는 You have reached your pull rate limit. You may increase the limit by authenticating and upgrading: https://www.docker.com/increase-rate-limits. 가져 오기 속도 제한을 높이려면 계정을 Docker Pro 또.. ETC. 2020.12.07
Airflow Plugin pypi.org/project/airflow-code-editor/ airflow-code-editor Apache Airflow code editor and file manager pypi.org github.com/lattebank/airflow-dag-creation-manager-plugin lattebank/airflow-dag-creation-manager-plugin A plugin for Airflow that create and manage your DAG with web UI. - lattebank/airflow-dag-creation-manager-plugin github.com BigData 2020.11.23
API documentation - Redoc github.com/Redocly/redoc Redocly/redoc 📘 OpenAPI/Swagger-generated API Reference Documentation - Redocly/redoc github.com velog.io/@sage_y/API-Documentation API Documentation API spec을 문서화해주는 오픈소스 소프트웨어 프레임워크다.Documentation을 참고해 Swagger Editor에서 쉽게 만들어 볼 수 있다.https://swagger.io/tools/swagger-editor/기본적으로 yaml로 작성하나 jso velog.io ETC. 2020.11.23
zookeeper brunch.co.kr/@timevoyage/77 Zookeeper Distributed Process Coordination | 왜 하필 주키퍼인가? 서버 개발자들에게 주키퍼는 분산 시스템을 다루기 위해 사용되는 중요한 서비스 중 하나다. 하지만 개발자들은 왜 주키퍼라는 이름이 붙었는지 brunch.co.kr BigData 2020.11.19