BigData 172

Mysql sleep session 정리

https://sarc.io/index.php/mariadb/1154-sleep-session sleep session 정리하기 Technical Note 정보 kimdubi 님이 작성하신 글입니다. 카테고리: [ MariaDB ] 게시됨: 22 March 2018 작성됨: 22 March 2018 최종 변경: 22 March 2018 조회수: 6306 -. sleep 세션이란 client-mysql 서버와 연결 후 다음 query 수행까지 대기중인 상태의 세션 sleep 세션이 너무 많고 정리가 안되는 경우 connection full 로 인해 신규 세션 접속이 불가능해지고 se sarc.io

BigData 2019.11.14

Window Function

velog.io/@yewon-july/Window-Function [SQL 활용]윈도우 함수(Window Function) 윈도우 함수는 행과 행 간의 관계를 정의하기 위해서 제공되는 함수윈도우 함수를 사용해서 순위, 합계, 평균, 행 위치 등을 조작할 수 있다.UNBOUNDED PRECEDING은 처음 행을 의미하며, UNBOUNDED FOLLOWING velog.io https://argolee.tistory.com/61 윈도우 함수(WINDOW FUNCTION) 윈도우 함수(WINDOW FUNCTION) 행과 행간의 관계를 쉽게 정의하기 위해 만든 함수가 바로 WINDOW FUNCTION이다. 윈도우 함수를 활용하면 복잡한 프로그램을 하나의 SQL 문장으로 쉽게 해결할 수 있다. 분석 함수(A.. ..

BigData 2019.11.07

자연어 처리

https://wikidocs.net/31947 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net http://corazzon.github.io/Konlpy_JPype_install_struggle MAC OSX에서 konlpy 설치 시 ImportError: No module named 'jpype' 오류 해결 # 일단, 내 MAC OSX 버전은 다음과 같다. import platform import sys print(""" system: %s mac_ver: %s """ % ( platform.system(), platform.mac_ver(), )) system: Darwin mac_ver: ('10.13.1', ('', '', ''), 'x86_64') konlpy를 pip..

BigData 2019.11.01

백엔드 아키텍쳐 개론

https://brunch.co.kr/@springboot/228 웹서비스 백엔드 애플리케이션 아키텍처(1)-클린아키텍처 1. 클린 아키텍처 적용한 스프링 기반 애플리케이션 구축 | "웹서비스 백엔드 애플리케이션 아키텍처"라는 주제로 글을 작성해서 공유합니다. 아키텍처에 대한 필자의 지극히 개인적인 생각을 정리하였습니다. 댓글로 피드백 해주시면 서로 배워가는 좋은 기회가 될 것 같습니다. "웹서비스 백엔드 애플리케이션 아키텍처" 목차 1. 클린 아키텍처를 적용한 스프링 기반 애플리케이션 구축(이번 글) 2. 대용량 트래픽을 위한 brunch.co.kr https://chiabi.github.io/2018/06/09/DG_scaffolding/ 스캐폴딩, CRUD, 퍼머링크 hexo로 블로그 만들면서 모르..

BigData 2019.10.22

Bert-Multilingual model을 이용해 KorQuAD 수행

https://blog.nerdfactory.ai/2019/04/25/learn-bert-with-colab.html 너드팩토리 너드팩토리에서 운영하는 블로그 입니다. blog.nerdfactory.ai http://mlgalaxy.blogspot.com/2019/01/bert-multilingual-model-korquad-part-1.html Bert-Multilingual model을 이용해 KorQuAD 수행해보기 Part 1 훈련 및 평가 지난 2018년 10월 구글에서 기존 SQuAD 1.1 task에서 human performance를 넘어서는 BERT 모델 에 대한 논문을 발표했다. SQuAD는 현재는 SQuAD dataset이 2.0으로 업그레이드( 더 어렵게) 되었고, 구글이 ... m..

BigData 2019.10.11

Korquad

https://korquad.github.io/ KorQuAD What is KorQuAD 2.0? KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 korquad.github.io

BigData 2019.10.11

Mysql Check

https://overcode.tistory.com/entry/MySQL-CPU-점유율이-높을때-DB에-영향을-미치는-쿼리문-찾기 MySQL CPU 점유율이 높을때, DB에 영향을 미치는 쿼리문 찾기 캡쳐한 사진이 없어서 퍼온 사진으로 대체함.. 리눅스 서버를 한동안 신경안썼더니 계속 뻗고 있었다. 원인은 mysqld 가 돌고 있는데 CPU 점유율이 100%를 넘게 먹고 있는것이였다. xe 에서 특정 쿼리가 계속 돌.. overcode.tistory.com https://ponyozzang.tistory.com/170 MySQL Database - 실행한 SQL 쿼리 이력을 확인하는 방법 MySQL Database - 실행한 SQL 쿼리 이력을 확인 MySQL에서 실행했던 쿼리의 이력을 확인하는 방법입니..

BigData 2019.10.07

Docker elk 설치

Filebeat with ELK를 사용한 로그 수집 - Docker 컨테이너 설치와 기본 사용법을 익히기 위한 문서로서 - 각각의 애플리케이션은 도커를 사용하여 설치 - Prerequisites : 도커 런타임(데몬)은 설치되어 실행 중인 환경 샘플은 1. 아파치 액세스 로그를 파일비트를 사용하여 수집, 2. logstash가 수집된 데이터를 수신하여 파싱·변형 후 엘라스틱서치에 전송 3. kibana를 사용하여 적재된 로그를 확인 하는 과정으로 이루어짐 1. 도커 컨테이너 설치 (파일비트, 로그스테시, 엘라스틱서치, 키바나) ■ 엘라스틱 설치 sudo docker run -d -p 9200:9200 -h elasticsearch --name elasticsearch \ -e ES_JAVA_OPTS="-..

BigData 2019.10.01