BigData

aws elasticsearch(es) with nifi

Kyle79 2021. 6. 27. 10:30

 

 

https://needjarvis.tistory.com/546

 

[엘라스틱서치] 데이터 입력과 Index, Type, Document

데이터입력 키바나(Kibana)의 콘솔을 활용하면 엘라스틱서치(Elasticsearch)에 매우 쉽게 데이터를 넣어볼 수 있다. 키바나(Kibana) Console 창에서 PUT Http 메소드를 사용하여 엘라스틱서치에 매우 쉽게 데

needjarvis.tistory.com

 

 

 

 

 

https://syaku.tistory.com/378

 

Apache NiFi 로 데이터 흐름 제어하기

apache nifi, elasticsearch, kibana 모두 처음 다뤄보는 기술이라 잘 못된 설명이 있을 수 있습니다. Why 저희 팀은 모니터링 데이터를 수집하고 메신저로 전달하여 실시간으로 정보를 받을 수 있는 서비

syaku.tistory.com

 

 

https://eyeballs.tistory.com/394

 

[NiFi] Elasticsearch 와 연동하는 flow 작성

여기서 설명하는 flow 에선 GenerateFlowFile 에서 생성한 flowfile 의 attribute 를 json 으로 만들고, 그것을 elasticsearch 에 넣는다. 아래 flow 를 따라 만들면 된다. < 전체 flow > < AttributeToJson > uu..

eyeballs.tistory.com

 

 

https://man-tae.tistory.com/8

 

nifi를 이용한 kafka에서 elasticsearch로 data 전송

1.  실행 1.1 프로그램 실행 zookeeper 실행 -> kafka 실행 -> nifi 실행 -> elasticsearch 실행 -> (manual 참조해서 설치 및 실행) 1.2 Consumer Kafka 생성 및 설정 nifi host 접속 : http://localhost:8080/n..

man-tae.tistory.com

 

 

 

https://coding-sojin2.tistory.com/entry/NiFi%EB%A1%9C-%EB%A1%9C%EA%B7%B8-%EB%9D%84%EC%9A%B0%EA%B8%B0-TailFile-LogAttribute

 

NiFi로 로그 띄우기 (TailFile + LogAttribute)

# 프로세스 추가 특정 파일을 Tailing하기 위해 프로세스를 추가한다. > TailFile > LogAttribute # 로그 파일 경로 확인 # Tail File 설정 두 프로세서를 생성하면 아직 사용할 준비가 되지 않아 아래와 같은.

coding-sojin2.tistory.com

 

 

https://longtermsad.tistory.com/14

 

Amazon Elasticsearch Service(Amazon ES) - VPC 액세스(권장)

Amazon Elasticsearch Service(Amazon ES)는 AWS 클라우드에서 Elasticsearch 클러스터를 쉽게 배포, 운영 및 조정할 수 있는 관리형 서비스입니다. Elasticsearch는 로그 분석, 실시간 애플리케이션 모니터링, 클..

longtermsad.tistory.com

 

 

 

'BigData' 카테고리의 다른 글

GenerateTableFetch with NIFI  (0) 2021.06.30
ERD Designers with Github  (0) 2021.06.28
데이터 카탈로그 도구. CI-Friendly tool for document a database  (0) 2021.06.10
CloudBeaver  (0) 2021.06.10
인공지능 가격 예측  (0) 2021.06.10