- K8S 설치.
- 기본적으로 서비스-관리Deploy-실행Deploy 으로 이루어져있다.
- Fargate 라면, 관리Pod 을 두대로 Pod 을 구축하여, EFS 로 연동이 하는 것이 좋을 것 같다.
https://dzone.com/articles/scaling-out-streamsets-with-kubernetes
Scaling Out StreamSets With Kubernetes - DZone Cloud
Together, StreamSets, Docker, and Kubernetes give you an easily scalable option for data collection using containers. Check out the architecture and options.
dzone.com
--> secret
https://kubernetes.io/ko/docs/concepts/configuration/secret/
시크릿(Secret)
쿠버네티스 시크릿을 사용하면 비밀번호, OAuth 토큰, ssh 키와 같은 민감한 정보를 저장하고 관리할 수 있다. 기밀 정보를 시크릿에 저장하는 것이 파드파드는 클러스터에서 실행 중인 컨테��
kubernetes.io
github.com/streamsets/helm-charts/tree/master/stable/control-agent
streamsets/helm-charts
Helm Charts. Contribute to streamsets/helm-charts development by creating an account on GitHub.
github.com
Getting Started
Use StreamSets Data Collector like a pipe for a data stream. Throughout your enterprise data topology, you have streams of data that you need to move, collect, and process on the way to their destinations. Data Collector provides the crucial connection bet
streamsets.com
http://ko.uwenku.com/tag/streamsets
streamsets - 우수한 라이브러리
ko.uwenku.com
https://holecjh.tistory.com/category/%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0
'빅데이터' 카테고리의 글 목록
세상에 공짜란 없다
holecjh.tistory.com
https://kkimsangheon.github.io/2020/01/07/streamsets4/
StreamSets 이란
StreamSets란?데이터 흐름을 관리할 수 있으며 Data drift에 유연하게 대처가능한 솔루션 StreamSets 활용 및 장점 요약글로벌 社에서 StreamSets을 Data Lakes, Big Data/Hadoop Ingestion, Event Streaming, IoT/edge device inte
kkimsangheon.github.io
https://league-cat.tistory.com/290
[빅데이터 인프라] StreamSets Basic tutorial 시작하기 - 1
먼저 앞의 선행 내용을 보고 설치하기 바란다 https://league-cat.tistory.com/288 그리고 또한 모든 내용은 다음을 참고 하였다 https://streamsets.com/tutorials/ Tutorial Overview 하단 자습서는 Pipeline..
league-cat.tistory.com
https://github.com/streamsets/datacollector
streamsets/datacollector
StreamSets Data Collector - Continuous big data and cloud platform ingest infrastructure - streamsets/datacollector
github.com
https://github.com/streamsets/datacollector-kubernetes
streamsets/datacollector-kubernetes
Contribute to streamsets/datacollector-kubernetes development by creating an account on GitHub.
github.com
https://hub.docker.com/r/streamsets/datacollector/
Docker Hub
hub.docker.com
https://github.com/streamsets/datacollector-docker
streamsets/datacollector-docker
Dockerfiles for StreamSets Data Collector. Contribute to streamsets/datacollector-docker development by creating an account on GitHub.
github.com
https://my.oschina.net/u/4364580/blog/3338031
streamsets 官方默认镜像中文支持问题 - osc_nbqoh20k的个人空间 - OSCHINA
my.oschina.net
'BigData' 카테고리의 다른 글
| How to set multiple commands in one yaml file with Kubernetes? (0) | 2020.06.23 |
|---|---|
| 쿠버네티스 배포를 하기 위한 준비 readinessProbe, livenessProbe (0) | 2020.06.23 |
| cloudflow (0) | 2020.06.10 |
| k8s CRDs (0) | 2020.06.10 |
| pyCaret (0) | 2020.06.10 |