Newton Method
-
[최적화] Gradient descent method, Newton Method, Quasi newton method 정리.카테고리 없음 2022. 1. 1. 20:52
기본적으로 다양한 최적화 방법론이 있지만, 크게 아래와 같이 분류할 수 있음. 01) Gradient Method : 미분한 것 기울기 찾아서 감. 방향은 알지만 , Learning rate : step은 모름 => 방향은 계산이 됨, 얼마나 더 가야하는지 ? step 을 계산하는 방법론은 또 추가적으로 생각해야 함. (계산을 해줘야 한다) => Line search 방법을 생각해야 함. 이를테면 Golden section search 같은 것 . 02) Newton - Rhapson Method : Zero finding method 즉, f(x) = 0 이 되는 값을 찾는 방법론 . 최대, 최소를 찾는 최적화 문제에서는 objective fucntion f(x)에 대해 f'(x) = 0 을 가지고 N..