[Question] Gradient는 어떻게 기울기가 가장 큰 방향을 가리킬까?

 

Gradient Descent를 공부하다 보니, Gradient가 어떻게 Loss가 가장 큰 방향으로 발산하는 것과 같은지가 궁금해졌다.

 

사실 그러기위해서는, 잊었던 수학적 기본 지식들을 깨워가면서 다시 공부해봐야 했었는데

어디 적어두지 않으면 또 잊을 것 같기에 적어보려한다.

---

 

1. Gradient 의 정의

그라디언트는 스칼라 함수의 기울기가 가장 크게 증가하는 방향을 가리키는 벡터 함수이며, 그 크기는 해당 방향으로의 기울기 크기를 나타낸다.

 

쉽게 생각하면 내 방을 x, y, z 좌표로 표현하고, 방안의 온도를 함수 f로 표현할 수 있다면, Gradient f는 그 점에서 주변으로 움직였을 때 온도가 가장 급격하게 증가하는 방향을 가르킨다.
   → 온도와 같이 크기만을 갖는 스칼라 함수 f에 델연산자를 붙이면 크기와 방향을 갖는 벡터 함수가 되며, 함수 f가 가장 커지는 방향을 가르킨다는 것!

3차원공간에서의 델연산자 정의 / Gradient f의 정의 (출처 : https://www.youtube.com/watch?v=nma8R7sMuv0)

 

 자 이제 이것에 대한 의미를 찾아가보자