paper review5 [논문 리뷰] Multitask Prompted Training Enables Zero-Shot Task Generalization 이번 게시물에서는 Encoder-Decoder 구조의 T5 model에 multi-task instruction fine-tuning을 적용한 model, T0를 제안한 논문인 Multitask Prompted Training Enables Zero-Shot Task Generalization 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다. Multitask Prompted Training Enables Zero-Shot Task Generalization Large language models have recently been shown to attain reasonable zero-shot generalization on a diverse set of tasks (Brown et al., 2020.. 2023. 5. 23. [논문 리뷰] Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering 이번 게시물에서는 retrieval augmented language model의 일종인 RAG model을 내부적으로 수정하여 발전시킨 FiD (Fusion-in-Decoder) model을 제안한 Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering 논문에 대해 다뤄보겠다. 본 논문의 저자중 한명인 Gautier Izacard 님은 추후 Atlas와 같은 retrieval augmented language model 후속 연구도 진행하셨으며, LLAMA의 개발에도 참여하신 분이다. 원문 링크는 아래와 같다. Leveraging Passage Retrieval with Generative Models .. 2023. 4. 29. [논문 리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 이번 게시물에서는 Retrieval-Augmented Language Model 중 하나인 RAG model을 제시한 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문에 대해 다뤄보겠다. 해당 논문이 발표되었던 시기에는, REALM과 같은 Retrieval-Augmented Language Model이 이미 제안되었던 상황이었다. RAG model은 기존 REALM과 같은 model과는 달리, Encoder-Decoder 구조를 차용하면서 output을 산출하는 과정을 text generation task로 변형하였다는 특징이 있다. 원문 링크는 아래와 같다 Retrieval-Augmented Generation for Knowled.. 2023. 4. 28. [논문 리뷰] REPLUG: Retrieval-Augmented Black-Box Language Models 이번 게시물에서는 Retrieval-Augmented model을 GPT-3와 같이 API로만 공개되어, 내부 구조에 접근 불가능한 상황에서도 사용할 수 있게끔 연구한 논문인 REPLUG: Retrieval-Augmented Black-Box Language Models에 대해 다뤄보겠다. 해당 논문은 워싱턴 대학교에서 박사 과정을 진행중이신 민세원님과 카이스트의 서민준 교수님께서 연구에 참여하신 논문이다. 원문 링크는 다음과 같다. REPLUG: Retrieval-Augmented Black-Box Language Models We introduce REPLUG, a retrieval-augmented language modeling framework that treats the language mod.. 2023. 4. 24. [논문 리뷰] REALM: Retrieval-Augmented Language Model Pre-Training 이번 게시물에서는 최초로 retrieval와 language model을 같이 pre-training을 진행한 REALM을 제안한 논문인 REALM: Retrieval-Augmented Language Model Pre-Training에 대해 다뤄보겠다. 원문 링크는 아래와 같다. REALM: Retrieval-Augmented Language Model Pre-Training Language model pre-training has been shown to capture a surprising amount of world knowledge, crucial for NLP tasks such as question answering. However, this knowledge is stored implici.. 2023. 4. 23. 이전 1 다음
