본문 바로가기

전체 글72

[논문 리뷰] Big Bird: Transformers for Longer Sequences 이번 게시물에서는 Big Bird를 제시한 논문인 Big Bird: Transformers for Longer Sequences에 대해 다뤄보도록 하겠다. 해당 논문은 2020년도 NeurIPS에 소개되었다. 원문 링크는 다음과 같다. Big Bird: Transformers for Longer Sequences Transformers-based models, such as BERT, have been one of the most successful deep learning models for NLP. Unfortunately, one of their core limitations is the quadratic dependency (mainly in terms of memory) on the sequen.. 2023. 2. 22.
[Python] Pypi에 패키지 업로드하기 보다 깊은 공부도 할 겸, 재미도 있어 보여서 Numpy만으로 구성한 딥러닝 프레임워크 비슷하게 만들어보게 되었다. 깃허브에는 올리긴 했는데, 이어서 Pypi에도 업로드하여 pip install로 다운로드할 수 있으면 좋을 것 같아서, 해당 코드를 업로드해 보았다. 나의 경우에는 neuralflow라는 이름의 패키지를 만들었는데, 이를 Pypi에 업로드하기 위해서는 다음과 같은 구성으로 만들어줘야 한다. 맨 위에 상위 폴더가 존재하고, 그 아래에, build, dist, neuralflow, neuralflow.egg-info, LICENSE, README.md, setup.py가 구성되어 있는 모습이다. 이 중에서 build, dist, neuralflow.egg-info는 추후 언급할 단계에서 자동적.. 2023. 1. 22.
[논문 리뷰] Multilingual Language Processing From Bytes 이번 게시물에서는 GPT-2 논문에서 제시된 Byte-level BPE(BBPE)에서 언급된 Multilingual Language Processing From Bytes라는 논문을 리뷰해보도록 하겠다. 사실 BBPE를 더 잘 이해해보기 위해 보게 된 논문이기에, 이번 게시물에서는 byte-level에서의 input representation처리와 관련해서만 다루고, 나머지는 생략하도록 하겠다. 원문 링크는 다음과 같다 Multilingual Language Processing From Bytes We describe an LSTM-based model which we call Byte-to-Span (BTS) that reads text as bytes and outputs span annotation.. 2022. 12. 24.
[논문 리뷰] Language Models are Unsupervised Multitask Learners - GPT-2 이번 게시물에서는 GPT-2를 제안한 Language Models are Unsupervised Multitask Learners 논문에 대해 리뷰해보려고 한다. 원문 링크는 다음과 같다. https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf Introduction 이 논문이 작성될 시기의 machine learning system들은 data의 분포와 model이 수행해야 하는 task의 변화에 대해 매우 민감했었다. 또한, 그 당시 machine learning system은 모든 task에서 general하게 좋은 성능을 보여주는 방향이 아닌, 수행해야하는 특정 task에 대해 특화되어있는 모습을 보였다.(원문에.. 2022. 12. 23.
[논문 리뷰] The Natural Language Decathlon:Multitask Learning as Question Answering - DecaNLP를 중심으로 이번 게시물에서는 DecaNLP와 MQAN을 통해 NLP에서 multitask learning의 가능성을 보여준 논문인 The Natural Language Decathlon: Multitask Learning as Question Answering을 리뷰한다. 원문 링크는 다음과 같다. The Natural Language Decathlon: Multitask Learning as Question Answering Deep learning has improved performance on many natural language processing (NLP) tasks individually. However, general NLP models cannot emerge within a paradigm th.. 2022. 12. 21.

티스토리툴바