[퍼온글] Hessian for ML

Mathematics for Machine Learning specialization의 Multivariate calculus 강의 5주차 intro to optimization 학습 중 Jacobian 과 Hessian을 이용한 gradient descent 예제에서 이해하기 힘든 부분이 있었습니다. Hessian을 이용한 optimization 방법이 그것이었는데, 이전 강의에서 Hessian에 대해서 배웠던 것은 Hessian을 이용하면 현재 point가 Min / Max인지 판단할 수 있다는 것이었습니다. 그래서 당연히 Jacobian을 이용해서 gradient descent 방향을 결정하고, Hessian을 이용해 이동해온 위치의 상태를 판단하는 것이라고 생각했습니다. 그런데 예제에서는 Hessian을 Jacobian과 같이 사용하고 있었고, 그에 대한 설명이 잘 이해가 되지 않아 관련글을 찾아 보았습니다. 

An Intuitive Introduction to the Hessian for Deep Learning Practitioners

Hessian 자체에 대한 설명과 함께 최적화 과정에서 Hessian을 어떻게 사용하는지 잘 설명하는 글입니다.