BigData

Docker Embulk

Kyle79 2020. 3. 19. 16:41

 

https://qiita.com/ryurock/items/daa38672f7c87fb62212

 

embulkでMySQLからBigQueryにデータロードをしてみるチュートリアル - Qiita

ログ基盤をそろそろ整備しないといけなくなりそうな今日この頃で スケーリングを管理しなくては行けないDWHのMySQLからBigQueryに移そう。 と思い調べて見たらembulkが便利そうだったので試してみました。 ## 今回やるこ...

qiita.com

 

 

https://github.com/kosukekurimoto/k8s-cronjob-embulk-blueprint?files=1

 

kosukekurimoto/k8s-cronjob-embulk-blueprint

Embulkのバッチ処理をGoogle Cloud PlatformのKubernetes Engineに構築する為の雛形です。 - kosukekurimoto/k8s-cronjob-embulk-blueprint

github.com

 

 

https://wapa5pow.com/build-analytics-environment-on-eks/

 

EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog

Koichi Ishida blog

wapa5pow.com

 

 

 

 

 

 

 

 

'BigData' 카테고리의 다른 글

Kylo  (0) 2020.03.30
Marquez  (0) 2020.03.27
CircleCI - GitHub 연동 및 EKS / AWS BATCH(ECS) CI/CD Pipeline  (0) 2020.03.19
AWS ElasticSearch(es) (ELK, Kibana)  (0) 2020.03.19
Streamlit  (0) 2020.02.20