BigData

Apache KUDU + Impala + Hive + Mysql(meta) + HBase + S3 구축

Kyle79 2019. 7. 23. 11:40

 

* Kudu를 이용한 빅데이터 다차원 분석 시스템 개발

https://d2.naver.com/helloworld/9099561

 

 

https://kalipso.github.io/2017/11/09/About-Apache-Kudu/

 

Apache Kudu의 특징과 테이블 관리

프로젝트에서 Kudu를 쓸 기회가 생겨서 간단하게 특징을 정리해보기로 하겠습니다. Cloudera 위에서 Kudu-Impala를 약간 써본 관계로, 전체적인 내용보다는 특징적인 부분만을 정리해보려고 합니다. # Kudu의 특징 Apache Hadoop 플랫폼 환경에서 사용되는 Columnar 스토리지 엔진이다. 데이터웨어하우징 워크로드에서 유리함

kalipso.github.io

 

https://lynnij.tistory.com/entry/Apache-KUDU-%EC%84%A4%EC%B9%98

 

Apache KUDU 설치

apache kudu의 공식 사이트이다. https://kudu.apache.org/docs/index.html 소개하기로는, Hadoop 플랫폼 용으로 개발된 스토리지 관리 소프트웨어라고 한다. 시작은 클라우데라에서 시작되었다고 하고, "Columnar..

lynnij.tistory.com

 

https://kudu.apache.org/docs/installation.html

 

Apache Kudu - Installing Apache Kudu

Requirements Support for Java 7 is deprecated as of Kudu 1.5.0 and may be removed in the next major release. To build the Java client, clone the Kudu Git repository, change to the java directory, and issue the following command: For more information about

kudu.apache.org

 

https://docs.aws.amazon.com/ko_kr/emr/latest/ReleaseGuide/emr-hbase-access-hive.html

 

Hive를 사용하여 HBase 테이블 액세스 - Amazon EMR

Hive를 사용하여 HBase 테이블 액세스 HBase 및 Apache Hive는 긴밀하게 통합되어 있으므로 HBase에 저장된 데이터에서 대량 병렬 처리 워크로드를 직접 실행할 수 있습니다. Hive를 HBase와 함께 사용하려면 대개 같은 클러스터에서 이 둘을 실행합니다. 그러나 별도의 클러스터에서 Hive 및 HBase를 실행할 수 있습니다. 다른 클러스터에서 HBase 및 Hive를 실행하면 애플리케이션이 클러스터 리소스를 더 효율적으로 사용할 수

docs.aws.amazon.com

 

https://www.cloudera.com/documentation/enterprise/latest/topics/impala_s3.html

 

Using Impala with the Amazon S3 Filesystem | 6.2.x | Cloudera Documentation

Just as with tables located on HDFS storage, you can designate S3-based tables as either internal (managed by Impala) or external, by using the syntax CREATE TABLE or CREATE EXTERNAL TABLE respectively. When you drop an internal table, the files associated

www.cloudera.com

 

 

'BigData' 카테고리의 다른 글

OLAP 의 이해  (0) 2019.07.26
Redis 운용  (0) 2019.07.23
Amazon S3 를 이용하여 Apache HBase 구축  (0) 2019.07.23
kafka 와 storm 을 이용한 실시간 분석  (0) 2019.07.23
아파치 스쿱(Apache Sqoop) 을 이용한 RDBMS -> HDBMS  (0) 2019.07.23