경사하강법은 현재 매개변수에서 구한 기울기의 반대 방향으로 값을 갱신하는 최적화 방법입니다. 학습률이 이동 크기를 조절하며, 한 번의 갱신이나 전체 과정이 항상 최저 손실에 도달하는 것은 아닙니다.
다른 이름: Gradient Descent
기울기는 작은 변화의 영향을 알려줍니다
모델의 값을 조금 바꾸면 손실이 어떻게 변하는지 계산할 수 있습니다. 여러 매개변수에 대한 변화율을 모은 것이 기울기, 즉 그래디언트입니다. 경사하강법은 손실을 줄이기 위해 대체로 기울기의 반대 방향으로 값을 조정합니다.
언덕의 높이는 손실, 현재 위치는 매개변수 값에 대응합니다. 실제 모델에는 매우 많은 차원이 있어 두 발로 걷는 산보다 복잡하지만, '지금 위치에서의 변화 방향'이라는 핵심은 비슷합니다.
학습률은 한 번에 움직일 크기를 조절합니다
가상 예에서 현재 값이 4, 기울기가 6, 학습률이 0.1이면 새 값은 4-0.1×6=3.4입니다. 같은 기울기라도 학습률을 바꾸면 이동량이 달라집니다.
너무 크게 움직이면 낮은 지점을 지나치거나 학습이 불안정해질 수 있습니다. 너무 작으면 오래 걸리거나 개선이 더딜 수 있습니다. 일정한 값만 쓰는 것이 아니라 학습 과정에 따라 조정하기도 합니다.
작은 자료 묶음으로 반복합니다
매번 전체 자료를 계산하면 비용이 커질 수 있어 작은 묶음으로 손실과 기울기를 추정하는 방법을 널리 사용합니다. 그래서 한 번의 손실이 흔들려도 전체 흐름은 개선될 수 있습니다.
항상 전 세계에서 가장 낮은 손실 지점에 도달한다고 보장하지는 않습니다. 학습 상태를 관찰하고 검증 결과까지 확인해야 합니다. 기울기를 구하는 역전파와 값을 바꾸는 최적화 방법은 서로 다른 단계입니다.
예시와 비교
항목 | 설명용 값 |
|---|---|
현재 매개변수 | 4 |
기울기 | 6 |
학습률 | 0.1 |
갱신 결과 | 3.4 |
주의할 해석
학습률을 높인다고 항상 더 빨리 좋은 모델이 되는 것은 아닙니다. 이동량이 커지는 것과 목표에 잘 도달하는 것은 다릅니다.
추가 설명
모멘텀이나 Adam 같은 최적화 방법은 기울기의 이력과 크기 정보를 이용해 갱신을 조절합니다. 기본 경사하강법의 직관 위에서 이해할 수 있지만 갱신 규칙은 서로 다릅니다.
출처와 더 읽을 자료
Google — Gradient descent — 기울기에 따른 매개변수 갱신 · 확인 2026-10-29
Google — Hyperparameters — 학습률·배치 크기 · 확인 2026-10-29