https://youtu.be/v7diENO2mEA 마지막 프로젝트 할때 BART와 T5 사용했으므로 복기하려고 정리된 페이퍼 리뷰를 보았고, 정리해주신 내용 중에서 결론만 다시 요약정리해놓으려고 한다. XLNet : AE와 AR 방식을 모두 적용. Factorization order를 고려하여 AE와 AR의 한계를 모두 극복. RoBERTa : BERT를 optimize함. MASS : AE+AR. 여러가지 masking 방법. BART : MASS와 비슷. 다른 masking 방법. MT-DNN : multitask learning. 여러개의 task 자체를 pretraining 과정에서 학습함으로써 조금 더 robust한 모델 만듬. T5 : 모든 NLP task를 통합할 수 있도록 text-to-..
