Choose a default theme

You can change your theme from the menu

— views

AI 입문 16화. 조금씩 덜 틀리는 방향으로 — 경사하강법

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

안개 낀 언덕에서 가장 낮은 곳을 찾는다고 생각해 봅시다. 전체 지도를 보지 못해도 발밑이 어느 쪽으로 기울었는지 보고 조금씩 움직일 수 있습니다.


기울기는 작은 변화의 영향을 알려줍니다

모델의 값을 조금 바꾸면 손실이 어떻게 변하는지 계산할 수 있습니다. 여러 매개변수에 대한 변화율을 모은 것이 기울기, 즉 그래디언트입니다. 경사하강법은 손실을 줄이기 위해 대체로 기울기의 반대 방향으로 값을 조정합니다.

언덕의 높이는 손실, 현재 위치는 매개변수 값에 대응합니다. 실제 모델에는 매우 많은 차원이 있어 두 발로 걷는 산보다 복잡하지만, '지금 위치에서의 변화 방향'이라는 핵심은 비슷합니다.


학습률은 한 번에 움직일 크기를 조절합니다

가상 예에서 현재 값이 4, 기울기가 6, 학습률이 0.1이면 새 값은 4-0.1×6=3.4입니다. 같은 기울기라도 학습률을 바꾸면 이동량이 달라집니다.

학습률이 너무 크면 불안정하고 너무 작으면 개선이 더딥니다. 학습 도중 값을 조정하기도 합니다.


작은 자료 묶음으로 반복합니다

매번 전체 자료를 계산하면 비용이 커질 수 있어 작은 묶음으로 손실과 기울기를 추정하는 방법을 널리 사용합니다. 그래서 한 번의 손실이 흔들려도 전체 흐름은 개선될 수 있습니다.

항상 전 세계에서 가장 낮은 손실 지점에 도달한다고 보장하지는 않습니다. 학습 상태를 관찰하고 검증 결과까지 확인해야 합니다.


보폭을 정하는 일도 학습의 일부입니다

내리막 방향을 맞혀도 보폭이 너무 크면 낮은 지점을 지나칩니다. 학습률은 갱신 폭을 조절하고 기울기는 새 지점에서 다시 구합니다.


한눈에 정리하기

항목

설명용 값

현재 매개변수

4

기울기

6

학습률

0.1

갱신 결과

3.4


확인 문제

값 4에서 기울기 6, 학습률 0.2로 경사하강법을 한 번 적용하면?

① 5.2

② 2.8

정답과 해설

정답 ② 2.8 · 손실을 줄이는 방향으로 이동하므로 4에서 0.2 × 6을 뺀다.


조금 더 깊이 · 선택해서 읽기

모멘텀이나 Adam 같은 최적화 방법은 기울기의 이력과 크기 정보를 이용해 갱신을 조절합니다. 기본 경사하강법의 직관 위에서 이해할 수 있지만 갱신 규칙은 서로 다릅니다.


함께 볼 위키

경사하강법


출처와 더 읽을 자료

Google — Gradient descent — 기울기에 따른 매개변수 갱신 · 확인 2026-10-29

Google — Hyperparameters — 학습률·배치 크기 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #신경망 #딥러닝 #만화로배우기 #지식채널

Comments (0)