BigData
RoBERTa
Kyle79
2019. 12. 26. 11:35
http://aidev.co.kr/chatbotdeeplearning/8016
챗봇 딥러닝 - 페이스북이 발표한 사전훈련 언어모델 RoBERTa
https://arxiv.org/pdf/1907.11692.pdf 며칠 전 페이스북에서 새로운 사전훈련 언어모델을 발표했습니다. 아직 그룹에 공유가 되지 않은 것 같아 간단하게 정리하였습니다. RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT를 기반으로 하지만 다음과 같이 몇 가지 개선 사항이 있습니다. 1. NSP(Next Sentence Prediction) 제거 -> 기존
aidev.co.kr