본문 바로가기

전체 글72

[논문 리뷰] Query Expansion by Prompting Large Language Models 이번 게시물에서는 google에서 발표한 논문인 Query Expansion by Prompting Large Language Models 에 대해 다뤄보겠다. 본 논문은 retrieval system의 성능을 향상시키기 위한 기법 중 하나인 query expansion에 LLM을 활용해본 연구를 다룬다. 원문 링크는 아래와 같다 https://arxiv.org/abs/2305.03653 Query Expansion by Prompting Large Language Models Query expansion is a widely used technique to improve the recall of search systems. In this paper, we propose an approach to que.. 2023. 8. 31.
[논문 리뷰] Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes 이번 게시물에서는 ACL 2023에 accept 된, LM의 rationale을 distillation에 활용하여 small model이 less training data 상황에서도 좋은 downsteam task 성능을 가지게끔 한 연구인 Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes 논문에 대해 다뤄보겠다 원문 링크는 아래와 같다 Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes Deploying large .. 2023. 8. 27.
[논문 리뷰] Direct Fact Retrieval from Knowledge Graphs without Entity Linking 이번 게시물에서는 ACL 2023에 accept 된, KG로부터 fact를 retrieve 하는 방법론을 간소화시키고, 성능까지 향상한 DiFaR, DiFaR² Framework를 제안한 Direct Fact Retrieval from Knowledge Graphs without Entity Linking 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다 Direct Fact Retrieval from Knowledge Graphs without Entity Linking There has been a surge of interest in utilizing Knowledge Graphs (KGs) for various natural language processing/understanding tasks... 2023. 7. 31.
[논문 리뷰] Dense Passage Retrieval for Open-Domain Question Answering 이번 게시물에서는 현재까지도 다양한 retrieval task에 사용되는 dense retriver인 DPR을 제안한 논문인 Dense Passage Retrieval for Open-Domain Question Answering 논문에 대해 다뤄보겠다 원문 링크는 아래와 같다 Dense Passage Retrieval for Open-Domain Question Answering Open-domain question answering relies on efficient passage retrieval to select candidate contexts, where traditional sparse vector space models, such as TF-IDF or BM25, are the de fac.. 2023. 7. 27.
[논문 리뷰] Multitask Prompted Training Enables Zero-Shot Task Generalization 이번 게시물에서는 Encoder-Decoder 구조의 T5 model에 multi-task instruction fine-tuning을 적용한 model, T0를 제안한 논문인 Multitask Prompted Training Enables Zero-Shot Task Generalization 논문에 대해 다뤄보겠다. 원문 링크는 아래와 같다. Multitask Prompted Training Enables Zero-Shot Task Generalization Large language models have recently been shown to attain reasonable zero-shot generalization on a diverse set of tasks (Brown et al., 2020.. 2023. 5. 23.