BigData 172

travis 배포 및 자동화

http://www.secmem.org/blog/2019/01/08/react-with-nginx-production/ 리액트 배포 및 자동화 리액트의 개발을 마치고 서버를 통해 배포할 때의 과정을 간단하게 정리해보았습니다. 리액트라고 적어 놓긴 했지만 SPA(Single Page Application)라면 굳이 리액트가 아니어도 같은 방법으로 배포가 가능합니다. 보통 aws, firebase 같은 CDN 서비스를 이용하여 배포, 관리를 많이 하기도 하지만 이 글에서는 서버에서 직접 nginx, docker를 이용하여 배포하는 과정을 다루며 추가로 github과 연동이 되는 travis를 이용하 www.secmem.org

BigData 2019.07.31

VS Code 설치

https://soolper.tistory.com/6 vscode 에 java 개발 환경 만들기 C / C++ 개발이 주 특기인데 java 로 프로젝트를 진행하란다. 기본적으로 사용하는 함수들이 모두 다르고 여러모로 낯설다. visual studio IDE (이하 vc )를 기본 에디터로 사용했는데 이클립스는 너무 낯설다 그.. soolper.tistory.com https://mystyle1057.tistory.com/entry/Visual-Studio-Code%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-Python-%EC%8B%A4%ED%96%89 Visual Studio Code를 활용한 Python 실행 VS Code for Python 프로그램 설치 먼저 환경 설정과 시작..

BigData 2019.07.29

Redis 운용

https://coding-start.tistory.com/126 Redis - Redis 설치 및 설정, 간단한 사용방법 Redis - Redis 설치 및 설정, 간단한 사용방법 Redis란? 정말 단순하게 표현하면 key-value 형태의 값을 저장할 수 있는 하나의 In-Memory DB라고 생각하시면 됩니다. 사용용도는 정말 많습니다. Springboot에서.. coding-start.tistory.com http://blog.naver.com/PostView.nhn?blogId=theswice&logNo=221413242954&parentCategoryNo=&categoryNo=15&viewDate=&isShowPopularPosts=true&from=search Redis Cluster 구축 ..

BigData 2019.07.23

Apache KUDU + Impala + Hive + Mysql(meta) + HBase + S3 구축

* Kudu를 이용한 빅데이터 다차원 분석 시스템 개발 https://d2.naver.com/helloworld/9099561 https://kalipso.github.io/2017/11/09/About-Apache-Kudu/ Apache Kudu의 특징과 테이블 관리 프로젝트에서 Kudu를 쓸 기회가 생겨서 간단하게 특징을 정리해보기로 하겠습니다. Cloudera 위에서 Kudu-Impala를 약간 써본 관계로, 전체적인 내용보다는 특징적인 부분만을 정리해보려고 합니다. # Kudu의 특징 Apache Hadoop 플랫폼 환경에서 사용되는 Columnar 스토리지 엔진이다. 데이터웨어하우징 워크로드에서 유리함 kalipso.github.io https://lynnij.tistory.com/entry/A..

BigData 2019.07.23

Amazon S3 를 이용하여 Apache HBase 구축

https://aws.amazon.com/ko/blogs/korea/migrate-to-apache-hbase-on-amazon-s3-on-amazon-emr-guidelines-and-best-practices/ Amazon EMR의 Amazon S3기반 Apache HBase로의 이관: 가이드라인과 모범 사례 | Amazon Web Services Amazon EMR 버전 5.2.0 이상에서는 Amazon S3기반 Apache HBase를 실행할 수 있습니다. Amazon S3을 Apache HBase용 데이터 스토어로 사용하면 클러스터의 스토리지와 컴퓨팅 노드를 분리할 수 있습니다. 이는 클러스터의 크기를 컴퓨팅 요구 사항에 따라 조정하므로 비용이 절감됩니다. 더이상 전체 데이터세트를 클러스터상의 ..

BigData 2019.07.23

아파치 스쿱(Apache Sqoop) 을 이용한 RDBMS -> HDBMS

https://excelsior-cjh.tistory.com/56 아파치 스쿱(Apache Sqoop) 스쿱(sqoop)은 관계형 데이터베이스와 하둡 사이에서 데이터 이관을 지원하는 툴이다. 스쿱을 이용하면 관계형 데이터베이스의 데이터를 HDFS, 하이브, Hbase에 임포트(import)하거나, 반대로 관계형 DB로 익스포.. excelsior-cjh.tistory.com https://community.hortonworks.com/articles/191358/importing-tables-from-relational-database-to-hbase.html Importing Tables from relational database to HBase using Sqoop - Hortonworks comm..

BigData 2019.07.23

아파치 머하웃(Apache Mahout) 을 이용한 추천 검색

https://jdm.kr/blog/127 아파치 머하웃(Apache Mahout) :: JDM's Blog 아파치 머하웃(Apache Mahout)이라는 프로젝트를 최근에 알게 됐습니다. 실제 개발이 시작된건 2011년처럼 보이는데 2015년 4월 11일 0.10.0 버전이 릴리즈 됐습니다. [출처] https://mahout.apache.org/ 머하웃?(Mahout?) 머하웃(Mahout)이라는 단어는 코끼리 조련사라는 뜻을 가지고 있습니다. 코끼리라는 말로 봐서 이 프로젝트 역시 Hadoop에서 파생된것으로 볼 수 있겠네요. 위키피디아에서는 다음처럼 소개 jdm.kr

BigData 2019.07.23