Choose a default theme

You can change your theme from the menu

오차 역전파

오차 역전파는 합성된 계산의 연쇄법칙을 이용해 손실에 대한 매개변수의 기울기를 효율적으로 계산하는 방법입니다. 계산한 기울기로 실제 값을 갱신하는 옵티마이저 단계와 구별됩니다.

다른 이름: 역전파 · Backpropagation


먼저 앞으로 계산합니다

입력에서 출력을 만들고 손실을 계산하는 순전파를 수행합니다. 이 과정의 중간 값은 나중에 변화율을 구하는 데 필요할 수 있습니다. '출력이 틀렸다'는 정보만 남기는 것이 아니라 어떤 계산을 거쳤는지가 중요합니다.

예를 들어 한 단계가 값을 두 배로 만들고 다음 단계가 세 배로 만든다면, 첫 입력의 작은 변화는 마지막에서 여섯 배로 나타납니다. 여러 단계의 변화 영향을 연결하는 연쇄법칙의 간단한 모습입니다.


손실 쪽에서 기울기를 거슬러 계산합니다

역전파는 출력과 손실에서 시작해 앞선 계산의 각 매개변수에 대한 기울기를 효율적으로 구합니다. 이미 계산한 영향을 재사용하므로 매개변수를 하나씩 바꿔 다시 실행하는 것보다 효율적일 수 있습니다.

이것은 시간을 되돌리거나 마지막 답변을 반대로 읽는 과정이 아닙니다. 계산 관계를 따라 변화율을 구하는 절차입니다. 입력을 처리하는 방향과 기울기를 전달하는 방향을 구분합니다.


기울기 계산과 실제 갱신은 별도입니다

역전파가 기울기를 구하면 최적화 알고리즘이 그 정보를 이용해 매개변수를 바꿉니다. 학습률이나 갱신 규칙을 정하는 일까지 역전파 하나로 부르면 역할이 흐려집니다.

층이 깊으면 기울기가 지나치게 작아지거나 커지는 문제가 생길 수 있습니다. 활성화·초기화·잔차 연결·정규화 등 여러 설계가 학습 안정성에 영향을 줍니다. 모든 실패 원인이 역전파 자체에 있는 것은 아닙니다.


예시와 비교

단계

역할

순전파

입력으로 출력과 손실 계산

역전파

각 매개변수의 기울기 계산

최적화 갱신

기울기로 매개변수 조정

재평가

바뀐 모델의 결과 확인



주의할 해석

기울기는 현재 계산과 목표에서의 변화율입니다. 어떤 가중치가 인간적인 의미에서 얼마나 '책임이 있는지'를 완전히 설명하는 점수는 아닙니다.


추가 설명

자동미분 도구는 계산 그래프를 따라 미분 규칙을 적용합니다. 함수값을 아주 조금씩 바꿔 추정하는 수치미분이나 식 전체를 정리하는 기호미분과 구별됩니다.



출처와 더 읽을 자료

PyTorch — Automatic Differentiation with torch.autograd — 계산 그래프·역전파·기울기 · 확인 2026-10-29

Google — Nodes and hidden layers — 노드·가중치·은닉층 · 확인 2026-10-29