전체 글 469

HDFS

https://m.blog.naver.com/PostView.nhn?blogId=alice_k106&logNo=220408254436&proxyReferer=https%3A%2F%2Fwww.google.com%2F 26. [Docker] 도커 컨테이너 기반의 하둡 클러스터 실행 - hadoop on docker 이 포스트는 http://tashan10.com/yong-dockerda-jian-hadoopwei-fen-bu-shi-ji-qun/ 에 기반해 작성되었습... blog.naver.com https://lsjsj92.tistory.com/438 도커(docker)에 하둡과 아파치 하이브(apache hive) 설치 및 배포 - 4 벌써 꽤 되었지만 지난 포스팅에서 도커(docker)에다가 cent..

BigData 2019.12.16

데이터 분석 사이트

http://www.some.co.kr/issue SOMETREND SomeTrend ISSUE 최근 온라인에서 화제가 되고 있는 실시간 트렌드 키워드, 이슈 뉴스, 떠오르는 해시태그를 확인할 수 있습니다. 최근 1개월 추이 그래프 www.some.co.kr https://www.data.go.kr/dataset/15012945/fileData.do 공공데이터포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Dataset)와 Open API로 제공하는 사이트입니다. www.data.go.kr https://www.bigkinds.or.kr/ 빅카인즈(BIG KINDS)..

BigData 2019.12.13

Spark(Hadoop, Hive) & Airflow

** 간단하게 Airflow - Spark 예제 https://github.com/yansfil/grab-data-world yansfil/grab-data-world Single node ETL pipeline project. Contribute to yansfil/grab-data-world development by creating an account on GitHub. github.com https://www.slideshare.net/JoenggyuLenKim/spark-152302106 Spark로 알아보는 빅데이터 처리 Spark로 시작하는 빅데이터라는 주제로 사내세미나 진행했던 자료입니다. Spark를 활용한다면 그 동작구조를 명확하게 이해해야 된다고 생각합니다. www.slideshare..

BigData 2019.12.12