NLP7 [논문 리뷰] Direct Fact Retrieval from Knowledge Graphs without Entity Linking 이번 게시물에서는 ACL 2023에 accept 된, KG로부터 fact를 retrieve 하는 방법론을 간소화시키고, 성능까지 향상한 DiFaR, DiFaR² Framework를 제안한 Direct Fact Retrieval from Knowledge Graphs without Entity Linking 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다 Direct Fact Retrieval from Knowledge Graphs without Entity Linking There has been a surge of interest in utilizing Knowledge Graphs (KGs) for various natural language processing/understanding tasks... 2023. 7. 31. [논문 리뷰] Multitask Prompted Training Enables Zero-Shot Task Generalization 이번 게시물에서는 Encoder-Decoder 구조의 T5 model에 multi-task instruction fine-tuning을 적용한 model, T0를 제안한 논문인 Multitask Prompted Training Enables Zero-Shot Task Generalization 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다. Multitask Prompted Training Enables Zero-Shot Task Generalization Large language models have recently been shown to attain reasonable zero-shot generalization on a diverse set of tasks (Brown et al., 2020.. 2023. 5. 23. [논문 리뷰] Finetuned Language Models Are Zero-Shot Learners 이번 게시물에서는 기존 LLM을 instruction(지시문)으로 fine-tuning 한 instruction-tuned model, FLAN을 제안한 Finetuned Language Models Are Zero-Shot Learners 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다. Finetuned Language Models Are Zero-Shot Learners This paper explores a simple method for improving the zero-shot learning abilities of language models. We show that instruction tuning -- finetuning language models on a collection of t.. 2023. 5. 16. [논문 리뷰] Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering 이번 게시물에서는 retrieval augmented language model의 일종인 RAG model을 내부적으로 수정하여 발전시킨 FiD (Fusion-in-Decoder) model을 제안한 Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering 논문에 대해 다뤄보겠다. 본 논문의 저자중 한명인 Gautier Izacard 님은 추후 Atlas와 같은 retrieval augmented language model 후속 연구도 진행하셨으며, LLAMA의 개발에도 참여하신 분이다. 원문 링크는 아래와 같다. Leveraging Passage Retrieval with Generative Models .. 2023. 4. 29. [논문 리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 이번 게시물에서는 Retrieval-Augmented Language Model 중 하나인 RAG model을 제시한 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 논문에 대해 다뤄보겠다. 해당 논문이 발표되었던 시기에는, REALM과 같은 Retrieval-Augmented Language Model이 이미 제안되었던 상황이었다. RAG model은 기존 REALM과 같은 model과는 달리, Encoder-Decoder 구조를 차용하면서 output을 산출하는 과정을 text generation task로 변형하였다는 특징이 있다. 원문 링크는 아래와 같다 Retrieval-Augmented Generation for Knowled.. 2023. 4. 28. 이전 1 2 다음
