BigData 172

Docker Embulk

https://qiita.com/ryurock/items/daa38672f7c87fb62212 embulkでMySQLからBigQueryにデータロードをしてみるチュートリアル - Qiita ログ基盤をそろそろ整備しないといけなくなりそうな今日この頃で スケーリングを管理しなくては行けないDWHのMySQLからBigQueryに移そう。 と思い調べて見たらembulkが便利そうだったので試してみました。 ## 今回やるこ... qiita.com https://github.com/kosukekurimoto/k8s-cronjob-embulk-blueprint?files=1 kosukekurimoto/k8s-cronjob-embulk-blueprint Embulkのバッチ処理をGoogle Cloud PlatformのKubernetes Engi..

BigData 2020.03.19

CircleCI - GitHub 연동 및 EKS / AWS BATCH(ECS) CI/CD Pipeline

https://ddii.dev/devops/circleci-ecs/# CircleCI로 AWS BATCH(ECS) CI/CD Pipeline 구성 이전 포스팅에서 EKS 클러스터와 어플리케이션 배포 및 테스트를 간단하게 해봤다. 이번에는 AWS ECS 또는 AWS Batch Application을 CircleCI를 통해 배포 및 업데이트 하는 것을 알아본다. ddii.dev https://ddii.dev/devops/circleci/# CircleCI - GitHub 연동 및 EKS 구성하기 CI/CD는 개발단계에서 지속적인 통합, 배포를 통해 효율성을 높여주는 도구라고 말할수 있다. 특히 GitOps가 중요시 되는 최근 트렌드에서 Public Git서비스와 통합은 필수적인 요소이다. ddii.dev

BigData 2020.03.19

AWS ElasticSearch(es) (ELK, Kibana)

https://tech.techtouch.jp/entry/2020/12/22/101504 Amazon Elasticsearch Service × RedashでSQLを使えるか検証 - Techtouch Developers Blog この記事はテックタッチアドベントカレンダー21日目の記事です。 プロダクトオーナーの尾崎です。今年のクリスマスは肉のハナマサの冷凍丸鶏をローストチキンにして楽しみました。オー tech.techtouch.jp https://docs.aws.amazon.com/ko_kr/elasticsearch-service/latest/developerguide/sql-support.html SQL을 사용하여 Amazon Elasticsearch Service 데이터 쿼리 - Amazon Elasticsearch S..

BigData 2020.03.19

Redash

1> Google OAuth * 사용자 인증 정보에서 웹 애플리케이션의 클라이언트 생성 - 승인된 리디렉션 URI를 '{도메인}/oauth/google_callback’ 로 추가 2> Redash 의 Settings - General 설정 - Password Login 체크 해제 - Google Login 허용 도메인 등록 ( 이메일 도메인으로 지정하여 도메인을 검수 ) 3> Redash 의 env 파일 수정 REDASH_GOOGLE_CLIENT_ID, REDASH_GOOGLE_CLIENT_SECRET 추가 https://redash.io/help/open-source/setup#docker Setting up a Redash Instance Create an Instance For basic deplo..

BigData 2020.01.13

RoBERTa

http://aidev.co.kr/chatbotdeeplearning/8016 챗봇 딥러닝 - 페이스북이 발표한 사전훈련 언어모델 RoBERTa https://arxiv.org/pdf/1907.11692.pdf 며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다. 1. NSP(Next Sentence Prediction) 제거 -> 기존 aidev.co.kr

BigData 2019.12.26

Albert

https://jeongukjae.github.io/posts/4-albert-review/ 📃 ALBERT 리뷰 최근 회사에서의 업무 때문에 논문을 많이 찾아보게 되었는데, 그리 되어서 어쨌든 ALBERT도 읽었으니 정리. 귀찮은 부분은 건너뛴다. 논문은 ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS이다. Google Research랑 Toyota Technological Institute at Chicago에서 했다. jeongukjae.github.io https://github.com/google-research/ALBERT google-research/ALBERT Contribute to google-re..

BigData 2019.12.26