BigData 172

Docker Pytorch(GPU, Jupyter) 배포 환경

Docker 자체에서는 GPU를 인식하도록 하는 기능을 제공하고 있지 않습니다. 이는 Docker의 가상환경은 실제 GPU와 연결될 수 없기 때문입니다. nvidia-docker를 이용해서 Docker에서도 GPU를 인식할 수 있도록 만들고자 합니다. 해당 내용은 NVIDIA/nvidia-docker 에서 확인할 수 있습니다. 1. Nvidia Docker 설치 nividia-docker : docker 내부에서 gpu (driver) 이용하기 위해서, host gpu driver와 docker를 연동시켜주는 driver. # 설치되어 있는 nvidia-docker가 있다면 제거 docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker..

BigData 2021.02.28

Nifi 1.13.0

Apache NiFi 버전 1.13.0 중요한 기능, 개선 및 버그 수정 릴리스입니다. 출시 날짜 : 2021 년 2 월 15 일 1.13.0 릴리스의 주요 내용은 다음과 같습니다. 이제 시스템 수준 메트릭 (GC, 리포지토리 크기,로드 평균)에 대한 상태 기록이 유지됩니다. 이제 ListenFTP 프로세서를 지원하여 NiFi 자체가 FTP 서버로 작동 할 수 있습니다. 이제 수신 데이터 스키마의 진화에 따라 Hive 테이블 구조를 자동으로 변경할 수 있습니다. 구성 요소 수준 속성 (프로세서의 속성과 같은)은 이제 종속성 구조를 가지므로 사용자가 추가 관련 속성을 적절하게 설정하도록 안내합니다. 이제 Zookeeper 상호 작용을 TLS로 보호 할 수 있습니다. Microsoft Azure 프로토콜 및..

BigData 2021.02.22

PyTorch

kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791188621590&orderClick=JAj 파이토치 첫걸음 - 교보문고 고도의 기술을 배운다고 해서 그 시작도 어려워야만 할까요? 이 책은 미간 찌푸리지 않고 부담 없이! 마음 편히! 임할 수 있는 파이토치 입문용 최강 서적입니다. 학습을 위한 자세한 예제는 물 www.kyobobook.co.kr 89douner.tistory.com/m/96?category=878197 6-2. Docker에서 pytorch 환경 구축하기 with jupyter notebook 안녕하세요~ 이번에는 리눅스 환경에서 Docker를 이용하여 pytorch를 구축하려고해요! (윈도우 환경에서..

BigData 2021.01.27

Kepler

medium.com/@thlee33/kepler-gl%EC%9D%84-%EC%9D%B4%EC%9A%A9%ED%95%9C-%EA%B1%B4%EB%AC%BC-3d-%EC%8B%9C%EA%B0%81%ED%99%94-330400887fe3 kepler.gl을 이용한 건물 3D 시각화 블로그를 올린 게 몇 개 안되는데 그 중에 그나마 반응이 있는게 건물 3D화였다. 그 게시물은 Cesium을 기반으로 하여서 GIS 분석가나 파이썬 기반 데이터 과학자에게는 조금 안맞을 수도 있을 것 medium.com brunch.co.kr/@sonjoosik/8 Uber의 데이터 시각화 도구 Kepler.gl Tech Review of Uber #5 | Uber에서는 복잡한 지역 정보와 교통 정보를 어떻게 시각화하고 있을까요? ..

BigData 2021.01.19