jinahhub 님의 연습장

Gradient Descent를 공부하다 보니, Gradient가 어떻게 Loss가 가장 큰 방향으로 발산하는 것과 같은지가 궁금해졌다. 사실 그러기위해서는, 잊었던 수학적 기본 지식들을 깨워가면서 다시 공부해봐야 했었는데어디 적어두지 않으면 또 잊을 것 같기에 적어보려한다. 1. Gradient 의 정의그라디언트는 스칼라 함수의 기울기가 가장 크게 증가하는 방향을 가리키는 벡터 함수이며, 그 크기는 해당 방향으로의 기울기 크기를 나타낸다. 쉽게 생각하면 내 방을 x, y, z 좌표로 표현하고, 방안의 온도를 함수 f로 표현할 수 있다면, Gradient f는 그 점에서 주변으로 움직였을 때 온도가 가장 급격하게 증가하는 방향을 가르킨다. → 온도와 같이 크기만을 갖는 스칼라 함수 f에 델연산자를 붙..

[Contents]1. Gradient Descent (경사하강법) 1.1. Gradient 와 Gradient Descent 1.2. Learning Rate2. Optimizer 소개 2.1. SGD 2.2. Mini-Batch SGD 2.3. Adam 2.4. Momemtum 1. Gradient Descent (경사하강법) 이전 포스팅에서 공부했던 입력과 출력간의 관계를 선형으로 놓고 알아내는 Linear Regrssion에서 Loss를 최소화한다는 것은 y=ax+b 라는 관계 안에서 우리는 a(Weight),b(Bias)를 알아내서 예측 모델을 만드는 일이다 경사 하강법은 손실함수(Loss Function) 그래프에서 손실을 최소화 하는 최적의 Weight(W) 가중치를 자동으로 찾아..