http://aidev.co.kr/chatbotdeeplearning/8016
챗봇 딥러닝 - 페이스북이 발표한 사전훈련 언어모델 RoBERTa
https://arxiv.org/pdf/1907.11692.pdf 며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다. 1. NSP(Next Sentence Prediction) 제거 -> 기존
aidev.co.kr
'BigData' 카테고리의 다른 글
| Redash (0) | 2020.01.13 |
|---|---|
| KalBert (0) | 2019.12.30 |
| Albert (0) | 2019.12.26 |
| transformer evolution (0) | 2019.12.26 |
| Automatic Speech Recognition (0) | 2019.12.26 |