[최적화] Gradient descent method, Newton Method, Quasi newton method 정리.

기본적으로 다양한 최적화 방법론이 있지만, 크게 아래와 같이 분류할 수 있음. 

 

01) Gradient Method : 미분한 것 기울기 찾아서 감.

방향은 알지만 , Learning rate : step은 모름

=> 방향은 계산이 됨, 얼마나 더 가야하는지 ? 

step 을 계산하는 방법론은 또 추가적으로 생각해야 함. (계산을 해줘야 한다)

=> Line search 방법을 생각해야 함.

이를테면 Golden section search 같은 것 .


02) Newton - Rhapson Method : Zero finding method 

즉, f(x) = 0 이 되는 값을 찾는 방법론 .

최대, 최소를 찾는 최적화 문제에서는 objective fucntion f(x)에 대해

f'(x) = 0 을 가지고 Newton - Rhapson method를 가지고 풀면 됨.

그 경우 1/f''(x) 이 Learning rate와 관련이 되어있음( 매 step마다 learning rate이 바로 나옴)

즉 그러니까 Hessian이 필요하게 됨
 
03) Quasi - Newton method   

* Hessian 을 구하는 것이 복잡하므로, 이 Hessian을 근사해서 계산해보자라는 것이 Idea임.

즉, 여기서 Hessian 을 어떻게 근사하느냐의 방법론에 따라 여러 방법론들이 있음

대표적으로 BFGS 알고리즘이 있음.