전체 글 469

StreamSets with datacollector

- K8S 설치. - 기본적으로 서비스-관리Deploy-실행Deploy 으로 이루어져있다. - Fargate 라면, 관리Pod 을 두대로 Pod 을 구축하여, EFS 로 연동이 하는 것이 좋을 것 같다. https://dzone.com/articles/scaling-out-streamsets-with-kubernetes Scaling Out StreamSets With Kubernetes - DZone Cloud Together, StreamSets, Docker, and Kubernetes give you an easily scalable option for data collection using containers. Check out the architecture and options. dzone.c..

BigData 2020.06.19

K8S ALB Ingress Controller -> EKS on Fargate AWS Load Balancer Controller

https://medium.com/finda-tech/aws-eks%EC%97%90%EC%84%9C-service-%ED%83%80%EC%9E%85-%EB%B3%84-ingress-%ED%85%8C%EC%8A%A4%ED%8A%B8-b911f129c8d5 AWS EKS에서 Service 타입 별 / Ingress 테스트 Kubernetes Network Test medium.com ************************ 2021 년 3월 24 일 이후 부터는.... AWS ALB Ingress Controller for Kubernetes를 제거합니다. AWS Load Balancer Controller는 AWS ALB Ingress Controller의 기능을 대체합니다. aws.amazon.com..

AWS 2020.06.19

NLB-ALB 연동 (고정아이피) ---> 이제는 Global Accelerator

https://aws.amazon.com/ko/blogs/korea/using-static-ip-addresses-for-application-load-balancers/ 애플리케이션 로드 밸런서(ALB)에 고정 IP 주소 설정 및 사용하기 | Amazon Web Services 2016년에 Elastic Load Balancing는 애플리케이션 로드 밸런서(Application Load Balancer, ALB)를 출시하였고, HTTP 통신의 7계층의 많은 기능들을 지원하게 되었습니다. 클라이언트는 DNS 주소를 해석하여 ALB를 �� aws.amazon.com https://m.blog.naver.com/PostView.nhn?blogId=tonykid3&logNo=221588742801&proxyR..

AWS 2020.06.17

s3 upload(stream, smart_open), download (pre-signed url, csv/json, bucket policy, credentials)

https://medium.com/@labcloud/s3-pre-signed-url-%EB%AF%B8%EB%A6%AC-%EC%84%9C%EB%AA%85%EB%90%9C-url-%EB%A7%8C%EB%93%A4%EA%B8%B0-596aff8bdc45 S3 pre-signed url (미리 서명된 url) 만들기 S3에 있는 Bucket은 private 또는 public 하게 접근할 수 있도록 제어를 권한을 설정할 수 있습니다. 프로그램을 개발하다 보면 S3에서 제공하는 특정 파일(Object)에 대해 제한된 시간 동안 접근할 수 있� medium.com https://planbs.tistory.com/entry/client%EB%82%98-resource%EC%97%90-access-key-id-secre..

Python 2020.06.10