본문 바로가기

ML&DL5

RNN(Recurrent Neural Network)이란? RNN(Recurrent Neural Network) 이번 글에서는 RNN의 개요, Single-layered RNN과 Multi-layered RNN, 마지막으로 Bidirectional Multi-layered RNN(Bidirectional RNN)에 대해 살펴보려고 한다. RNN 개요 RNN(Recurrent Neural Network)은 sequential한 data, 즉, time step이 존재하는 data를 다루는데에 최적화 된 아키텍쳐이다. 이러한 특성 때문에, RNN계열의 아키텍쳐(LSTM, GRU)는 시계열 데이터(주식 데이터, 센서 데이터), 텍스트 데이터, 영상 혹은 음성 데이터에 폭넓게 사용된다. 시계열 데이터의 경우, 데이터 안에 있는 특정 사건이 발생한 시각 정보가 매우 중요.. 2022. 12. 1.
[논문 리뷰] Mixed Precision Training Mixed Precision Training Deep neural networks have enabled progress in a wide variety of applications. Growing the size of the neural network typically results in improved accuracy. As model sizes grow, the memory and compute requirements for training these models also increases. arxiv.org Mixed Precision Training이라는 논문에 대해 살펴보도록 하겠다 딥러닝이 발전함에 따라, 다양한 분야에서 큰 발전이 이루어졌다. 이러한 발전에는 training dataset의.. 2022. 11. 29.
KL-Divergence와 Entropy, Cross-Entropy란? KLD(Kullback-Leibler Divergence) 쿨백-라이블러 발산(Kullback–Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데에 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. -Wikipedia- KLD는 두 확률분포 사이의 다름을 측정한다. 주의해야 할 점은, KLD는 두 분포 사이의 거리가 아니라는 것이다. KLD의 수식과, 예시를 보면서 같이 개념을 이해해보자. 두 확률분포 p와 q가 있다고 할 때, p 관점에서 측정한($x$를 sampling 할 때 p에서 sampling) KLD의 수식은 다음과 같다. $$KL(p||q) = -\mathbb{E}.. 2022. 7. 22.
Likelihood(가능도)와 MLE(Maximum Likelihood Estimation)란? 통계학에서, 가능도(可能度, 영어: likelihood) 또는 우도(尤度)는 확률 분포의 모수가, 어떤 확률변수의 표집값과 일관되는 정도를 나타내는 값이다. 구체적으로, 주어진 표집값에 대한 모수의 가능도는 이 모수를 따르는 분포가 주어진 관측값에 대하여 부여하는 확률이다. 가능도 함수는 확률 분포가 아니며, 합하여 1이 되지 않을 수 있다. -Wikipedia- 위키피디아에서 Likelihood를 검색하면 위의 정의가 나온다. 그러나, 도통 무슨 말인지 알 수가 없다. 누구나 likelihood를 잘 이해할 수 있게 풀어서 이야기해보려고 한다. Likelihood란? Likelihood(가능도)란, 주어진 확률 분포$\theta$가 데이터를 얼마나 잘 설명하는지 나타내는 정도이다. 가능도를 더 잘 이해.. 2022. 7. 22.
경사 하강법(Gradient Descent)이란?? 경사 하강법(Gradient Descent)란? 경사 하강법 (傾斜下降法, Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다 -Wikipedia- 예전에 한창 와우를 하던 시기가 있었다. 퀘스트를 완료하려면 가야만 하는 곳이 있었는데, 그 곳이 다른 지형보다 훨씬 고도가 낮은 곳이었다. 그 당시에는 날아다니는 탈것을 얻을 수 없는 시기여서 걸어가야만 했기에 애먹었던 기억이 있다. 위와 같은 느낌의 지형이었고, 고민끝에 나는 경사면을 따라 낮은 곳으로 점점 나아가는 방법을 택했고, 결국 가장 낮은 곳이었던 완료지점까지 도달할 수 있었다. 제목은 경사하강법인데 뜬금없이.. 2022. 7. 18.

티스토리툴바