PAPER3 [논문 리뷰] Multitask Prompted Training Enables Zero-Shot Task Generalization 이번 게시물에서는 Encoder-Decoder 구조의 T5 model에 multi-task instruction fine-tuning을 적용한 model, T0를 제안한 논문인 Multitask Prompted Training Enables Zero-Shot Task Generalization 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다. Multitask Prompted Training Enables Zero-Shot Task Generalization Large language models have recently been shown to attain reasonable zero-shot generalization on a diverse set of tasks (Brown et al., 2020.. 2023. 5. 23. [논문 리뷰] REPLUG: Retrieval-Augmented Black-Box Language Models 이번 게시물에서는 Retrieval-Augmented model을 GPT-3와 같이 API로만 공개되어, 내부 구조에 접근 불가능한 상황에서도 사용할 수 있게끔 연구한 논문인 REPLUG: Retrieval-Augmented Black-Box Language Models에 대해 다뤄보겠다. 해당 논문은 워싱턴 대학교에서 박사 과정을 진행중이신 민세원님과 카이스트의 서민준 교수님께서 연구에 참여하신 논문이다. 원문 링크는 다음과 같다. REPLUG: Retrieval-Augmented Black-Box Language Models We introduce REPLUG, a retrieval-augmented language modeling framework that treats the language mod.. 2023. 4. 24. [논문 리뷰] REALM: Retrieval-Augmented Language Model Pre-Training 이번 게시물에서는 최초로 retrieval와 language model을 같이 pre-training을 진행한 REALM을 제안한 논문인 REALM: Retrieval-Augmented Language Model Pre-Training에 대해 다뤄보겠다. 원문 링크는 아래와 같다. REALM: Retrieval-Augmented Language Model Pre-Training Language model pre-training has been shown to capture a surprising amount of world knowledge, crucial for NLP tasks such as question answering. However, this knowledge is stored implici.. 2023. 4. 23. 이전 1 다음
