BigData 172

Redis rq

http://egloos.zum.com/mcchae/v/11261352 [Python] Redis rq 를 이용한 간단한 비동기 작업 큐 파이썬에서 비동기 작업 큐 라고 하면 가장 먼저 떠 오르는 것이 Celery 라는 것입니다. 그런데 위에 읽어보면 비동기 큐라기 보다는 "분산 작업 큐" 라는 것이 더 정확한 말입니다. 분산이라는 의� egloos.zum.com https://niceman.tistory.com/200 파이썬(Python) - Redis + RQ(Redis Queue) Task 연동 비동기 예제 소스 파이썬(Python) - Queue 서비스 필요성 오랜만에 포스팅을 작성하게 되었습니다. 최근 정규직으로 이직한지 얼마되지 않아 블로그 관리에 소홀했던 것 같습니다. 최근 업무에서 파이썬 ..

BigData 2020.05.10

Apache Atlas

http://www.kwangsiklee.com/2018/05/apache-atlas란-무엇인가/ Apache Atlas hook 모듈로 Hive Metadta import하기 개요 Apache Atlas 1.0.0-SNAPSHOT 기준으로 hive metadata를 import하는 방법을 정리해둔다. binary 확보하기 binary는 아래 Maven 빌드로 만들어진 atlas/distro/target/apache-atlas-1.0.0-SNAPSHOT-bin.tar.gz를 이용한다. $ git clone atlas $ cd… www.kwangsiklee.com https://github.com/sburn/docker-apache-atlas/blob/master/README.md sburn/docker-..

BigData 2020.04.26