전체 글72 [Dart] Dart의 data type Data Type Basic Data Types dart의 기본적인 데이터 타입은 다음과 같다. void main() { String name = 'Dart'; bool isTrue = true; int age = 26; double height = 1.75; // num 자료형은 int와 double을 모두 포함한다. // num class의 경우에는 int와 double의 부모 클래스이다. num x = 12; num y = 12.45; } python과 비슷하게, dart의 모든 자료형들은 객체로 이루어져 있다. (function도 객체로 취급된다.) list void main() { var numbers = [1, 2, 3]; List numbers2 = [1, 2, 3, 4]; /.. 2023. 4. 26. [논문 리뷰] REPLUG: Retrieval-Augmented Black-Box Language Models 이번 게시물에서는 Retrieval-Augmented model을 GPT-3와 같이 API로만 공개되어, 내부 구조에 접근 불가능한 상황에서도 사용할 수 있게끔 연구한 논문인 REPLUG: Retrieval-Augmented Black-Box Language Models에 대해 다뤄보겠다. 해당 논문은 워싱턴 대학교에서 박사 과정을 진행중이신 민세원님과 카이스트의 서민준 교수님께서 연구에 참여하신 논문이다. 원문 링크는 다음과 같다. REPLUG: Retrieval-Augmented Black-Box Language Models We introduce REPLUG, a retrieval-augmented language modeling framework that treats the language mod.. 2023. 4. 24. [논문 리뷰] REALM: Retrieval-Augmented Language Model Pre-Training 이번 게시물에서는 최초로 retrieval와 language model을 같이 pre-training을 진행한 REALM을 제안한 논문인 REALM: Retrieval-Augmented Language Model Pre-Training에 대해 다뤄보겠다. 원문 링크는 아래와 같다. REALM: Retrieval-Augmented Language Model Pre-Training Language model pre-training has been shown to capture a surprising amount of world knowledge, crucial for NLP tasks such as question answering. However, this knowledge is stored implici.. 2023. 4. 23. [논문 리뷰] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer 이번 게시물에서는 구글에서 연구하고 발표한 T5를 다룬 논문인 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer에 대해 다뤄보겠다. 해당 모델의 경우, BART와 같이 Encoder-Decoder 구조를 지니고 있으며, 모든 task에 대해 text-to-text task로 다룬다는 특징을 가지고 있다. 이에 대한 자세한 내용은 아래에서 다루도록 하겠다. 또한, 논문의 양이 매우 긴 편인데(Appendix와 Reference를 제외하고도 40페이지 남짓), 저자들이 T5를 연구하면서 진행한 가설 설정 및 비교 실험을 모두 담아놓았기 때문에 그렇다. 처음부터 차근차근 따라가면 NLP에서의 language mod.. 2023. 3. 17. [논문 리뷰] Self-Attention with Relative Position Representations 이번 게시물에서는 transformer 구조에서 위치 정보를 추가해주기 위해 사용되는 position representation을 절대적인 위치 정보가 아닌 상대적인 위치 정보로 나타낸다는 아이디어를 담은 논문인 Self-Attention with Relative Position Representations을 리뷰해보겠다. 원문 링크는 다음과 같다. Self-Attention with Relative Position Representations Relying entirely on an attention mechanism, the Transformer introduced by Vaswani et al. (2017) achieves state-of-the-art results for machine trans.. 2023. 3. 6. 이전 1 2 3 4 5 6 ··· 15 다음
