— views
AI 입문 17화. 어느 계산을 얼마나 바꿔야 할까? — 역전파
계산이 여러 층 이어져 있다면 마지막 오차를 보고 어느 값을 얼마나 바꿔야 할까요? 신경망 전체를 한 번에 추측하는 대신, 계산 사이의 영향을 연결해 효율적으로 구하는 방법이 역전파입니다.

먼저 앞으로 계산합니다
입력에서 출력을 만들고 손실을 계산하는 순전파를 수행합니다. 이 과정의 중간 값은 나중에 변화율을 구하는 데 필요할 수 있습니다. '출력이 틀렸다'는 정보만 남기는 것이 아니라 어떤 계산을 거쳤는지가 중요합니다.
연쇄법칙은 각 단계를 조금 바꿨을 때의 영향을 곱해 앞단의 변화가 최종 결과에 미칠 영향을 구하는 방법입니다.
손실 쪽에서 기울기를 거슬러 계산합니다
역전파는 출력과 손실에서 시작해 앞선 계산의 각 매개변수에 대한 기울기를 효율적으로 구합니다. 이미 계산한 영향을 재사용하므로 매개변수를 하나씩 바꿔 다시 실행하는 것보다 효율적일 수 있습니다.
이것은 시간을 되돌리거나 마지막 답변을 반대로 읽는 과정이 아닙니다. 계산 관계를 따라 변화율을 구하는 절차입니다. 입력을 처리하는 방향과 기울기를 전달하는 방향을 구분합니다.
기울기 계산과 실제 갱신은 별도입니다
역전파가 기울기를 구하면 최적화 알고리즘이 그 정보를 이용해 매개변수를 바꿉니다. 학습률이나 갱신 규칙을 정하는 일까지 역전파 하나로 부르면 역할이 흐려집니다.
층이 깊으면 기울기가 지나치게 작아지거나 커지는 문제가 생길 수 있습니다. 활성화·초기화·잔차 연결·정규화 등 여러 설계가 학습 안정성에 영향을 줍니다. 모든 실패 원인이 역전파 자체에 있는 것은 아닙니다.
오차의 영향 계산과 값 변경을 나누기
두 배, 다시 세 배로 만드는 계산의 변화율은 2×3=6입니다. 역전파는 이런 국소 변화율을 이어 기울기를 구하고, 옵티마이저는 가중치를 갱신합니다.
한눈에 정리하기
단계 | 역할 |
|---|---|
순전파 | 입력으로 출력과 손실 계산 |
역전파 | 각 매개변수의 기울기 계산 |
최적화 갱신 | 기울기로 매개변수 조정 |
재평가 | 바뀐 모델의 결과 확인 |
기울기는 현재 목표에 대한 국소 변화율이지 가중치의 절대적인 중요도 점수는 아닙니다.
조금 더 깊이 · 선택해서 읽기
자동미분 도구는 계산 그래프를 따라 미분 규칙을 적용합니다. 함수값을 아주 조금씩 바꿔 추정하는 수치미분이나 식 전체를 정리하는 기호미분과 구별됩니다.
함께 볼 위키
출처와 더 읽을 자료
PyTorch — Automatic Differentiation with torch.autograd — 계산 그래프·역전파·기울기 · 확인 2026-10-29
Google — Nodes and hidden layers — 노드·가중치·은닉층 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)