전체 글 469

Bert-Multilingual model을 이용해 KorQuAD 수행

https://blog.nerdfactory.ai/2019/04/25/learn-bert-with-colab.html 너드팩토리 너드팩토리에서 운영하는 블로그 입니다. blog.nerdfactory.ai http://mlgalaxy.blogspot.com/2019/01/bert-multilingual-model-korquad-part-1.html Bert-Multilingual model을 이용해 KorQuAD 수행해보기 Part 1 훈련 및 평가 지난 2018년 10월 구글에서 기존 SQuAD 1.1 task에서 human performance를 넘어서는 BERT 모델 에 대한 논문을 발표했다. SQuAD는 현재는 SQuAD dataset이 2.0으로 업그레이드( 더 어렵게) 되었고, 구글이 ... m..

BigData 2019.10.11

Korquad

https://korquad.github.io/ KorQuAD What is KorQuAD 2.0? KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 korquad.github.io

BigData 2019.10.11

Mysql Check

https://overcode.tistory.com/entry/MySQL-CPU-점유율이-높을때-DB에-영향을-미치는-쿼리문-찾기 MySQL CPU 점유율이 높을때, DB에 영향을 미치는 쿼리문 찾기 캡쳐한 사진이 없어서 퍼온 사진으로 대체함.. 리눅스 서버를 한동안 신경안썼더니 계속 뻗고 있었다. 원인은 mysqld 가 돌고 있는데 CPU 점유율이 100%를 넘게 먹고 있는것이였다. xe 에서 특정 쿼리가 계속 돌.. overcode.tistory.com https://ponyozzang.tistory.com/170 MySQL Database - 실행한 SQL 쿼리 이력을 확인하는 방법 MySQL Database - 실행한 SQL 쿼리 이력을 확인 MySQL에서 실행했던 쿼리의 이력을 확인하는 방법입니..

BigData 2019.10.07

Docker elk 설치

Filebeat with ELK를 사용한 로그 수집 - Docker 컨테이너 설치와 기본 사용법을 익히기 위한 문서로서 - 각각의 애플리케이션은 도커를 사용하여 설치 - Prerequisites : 도커 런타임(데몬)은 설치되어 실행 중인 환경 샘플은 1. 아파치 액세스 로그를 파일비트를 사용하여 수집, 2. logstash가 수집된 데이터를 수신하여 파싱·변형 후 엘라스틱서치에 전송 3. kibana를 사용하여 적재된 로그를 확인 하는 과정으로 이루어짐 1. 도커 컨테이너 설치 (파일비트, 로그스테시, 엘라스틱서치, 키바나) ■ 엘라스틱 설치 sudo docker run -d -p 9200:9200 -h elasticsearch --name elasticsearch \ -e ES_JAVA_OPTS="-..

BigData 2019.10.01