728x90
gradient descent
-
Python 으로 경사하강법(Gradient Descent) 구현AI/Python 2020. 12. 23. 16:12
경사하강법(GD)은 여러 종류의 문제에서 최적의 해법을 찾을 수 있는 매우 일반적인 최적화 알고리즘이다. 경사하강법의 기본 아이디어는 비용함수를 최소화하기 위해 반복해서 파라미터를 조정해 나가는 것이다. 간단한 예를 들면, 산 위에서 길을 잃었을 때 가장 빨리 골짜기로 내려가는 방법은 경사가 가파른 곳으로 내려가는 것이 가장 베스트 아이디어다. 이것이 바로 경사하강법의 원리이다. 이제 경사하강법에 대해서 다 배운 것이다. 말 그대로 기울기가 가파른 방향으로 내려가면서 기울기가 0이 되는 지점까지 가는 방법이다. 기울기가 0이 된다면 골짜기의 최솟값에 도달한 것이다. 우리가 앞에서 그렸던 공부시간과 시험 점수 그래프에서 Cost function을 Cost와 W에 대해서 그래프로 그린다면, 아래와 같이 그려..