Choose a default theme

You can change your theme from the menu

GPU

GPU는 많은 연산을 병렬로 수행하는 데 활용되는 처리 장치입니다. 신경망의 행렬 연산과 잘 맞는 경우가 많지만 모든 작업에서 CPU보다 빠른 것은 아니며 메모리·데이터 이동·작업 형태도 성능에 영향을 줍니다.

다른 이름: 그래픽 처리 장치 · Graphics Processing Unit


숫자 묶음끼리의 계산이 반복됩니다

신경망에서는 여러 입력과 가중치를 곱하고 더하는 계산을 큰 배열로 처리합니다. 이를 행렬 계산으로 묶으면 많은 연산을 효율적으로 수행할 수 있습니다. 행렬 자체는 22화에서 작은 표로 다시 설명합니다.

GPU는 많은 연산을 병렬로 처리하는 데 적합한 구조를 갖습니다. 신경망 학습에 자주 등장하는 연산이 이런 특성과 잘 맞을 수 있습니다. CPU도 필요하며 모든 업무에서 GPU가 무조건 빠른 것은 아닙니다.


학습은 답을 한 번 만드는 것보다 많은 일을 합니다

학습에는 순전파뿐 아니라 손실·기울기 계산과 매개변수 갱신이 포함됩니다. 중간 값과 최적화 상태도 저장해야 하므로 메모리 요구가 커질 수 있습니다.

추론 역시 큰 모델과 긴 입력에서는 상당한 자원이 필요합니다. '학습이 끝났으니 사용은 공짜'라고 생각하면 안 됩니다. 요청 수, 입력 길이, 출력 길이, 장치와 실행 방식에 따라 비용이 달라집니다.


연산 속도와 메모리를 함께 봅니다

모델이 장치 메모리에 들어가는지, 필요한 값을 얼마나 빨리 옮기는지도 중요합니다. 여러 장치를 연결하면 통신 비용이 생깁니다. 빠른 계산 장치를 늘리는 것만으로 성능이 같은 비율로 늘지는 않습니다.

3부의 흐름은 입력→신경망 계산→손실→기울기→갱신입니다. GPU는 이 계산을 빠르게 수행하는 도구이며 학습 목표나 데이터의 오류를 스스로 고쳐주는 역할은 아닙니다.


예시와 비교

관점

학습

추론

주요 계산

순전파·역전파·갱신

현재 모델로 출력 계산

추가 저장

기울기·중간 값·최적화 상태 등

중간 값·캐시 등

공통 제약

연산량·메모리·통신

연산량·메모리·요청 수



주의할 해석

특정 GPU의 속도와 비용은 모델·정밀도·배치·소프트웨어에 따라 달라집니다. 조건 없는 배수 비교를 하지 않습니다.


추가 설명

양자화는 일부 숫자를 더 적은 비트로 표현해 메모리와 연산 부담을 줄이는 방법입니다. 품질·속도 변화는 방식과 장치에 따라 달라지며 별도의 평가가 필요합니다.



출처와 더 읽을 자료

NVIDIA — GPU Performance Background User’s Guide — GPU의 병렬 계산과 메모리 · 확인 2026-10-29

PyTorch — Automatic Differentiation with torch.autograd — 계산 그래프·역전파·기울기 · 확인 2026-10-29