Choose a default theme

You can change your theme from the menu

— views

AI 입문 18화. AI 학습에는 왜 GPU가 많이 필요할까?

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

빵집의 계산 업무를 한 사람이 차례로 처리하는 것과 여러 작업대가 나누어 처리하는 것을 비교해 봅시다. 신경망에도 많은 비슷한 계산이 반복됩니다.


숫자 묶음끼리의 계산이 반복됩니다

신경망에서는 여러 입력과 가중치를 곱하고 더하는 계산을 큰 배열로 처리합니다. 이를 행렬 계산으로 묶으면 많은 연산을 효율적으로 수행할 수 있습니다.

GPU는 많은 연산을 병렬로 처리하는 데 적합한 구조를 갖습니다. 신경망 학습에 자주 등장하는 연산이 이런 특성과 잘 맞을 수 있습니다. CPU도 필요하며 모든 업무에서 GPU가 무조건 빠른 것은 아닙니다.


학습은 답을 한 번 만드는 것보다 많은 일을 합니다

학습에는 순전파뿐 아니라 손실·기울기 계산과 매개변수 갱신이 포함됩니다. 중간 값과 최적화 상태도 저장해야 하므로 메모리 요구가 커질 수 있습니다.

추론 역시 큰 모델과 긴 입력에서는 상당한 자원이 필요합니다. '학습이 끝났으니 사용은 공짜'라고 생각하면 안 됩니다. 요청 수, 입력 길이, 출력 길이, 장치와 실행 방식에 따라 비용이 달라집니다.


연산 속도와 메모리를 함께 봅니다

모델이 메모리에 들어가는지, 장치 사이 통신에 얼마나 걸리는지도 속도를 좌우합니다. 장치를 두 배로 늘려도 속도가 두 배가 되지는 않습니다.

3부의 흐름은 입력→신경망 계산→손실→기울기→갱신입니다. GPU는 이 계산을 빠르게 수행하는 도구이며 학습 목표나 데이터의 오류를 스스로 고쳐주는 역할은 아닙니다.


작업대를 늘려도 함께 풀어야 할 병목이 있습니다

곱셈을 나눠 처리해도 다음 층은 앞 층의 출력을 기다립니다. 연산이 빨라지면 메모리 용량이나 데이터 전송이 병목이 될 수 있습니다.


한눈에 정리하기

관점

학습

추론

주요 계산

순전파·역전파·갱신

현재 모델로 출력 계산

추가 저장

기울기·중간 값·최적화 상태 등

중간 값·캐시 등

공통 제약

연산량·메모리·통신

연산량·메모리·요청 수


속도·비용을 비교하려면 모델·정밀도·배치·소프트웨어 조건을 맞추세요.


확인 문제

역전파로 기울기를 구했다. 일반적인 학습에서 다음에 가중치를 바꾸는 것은?

① 손실 함수

② 옵티마이저

정답과 해설

정답 ② 옵티마이저 · 손실 함수는 오차를 점수로 나타낸다. 옵티마이저는 기울기와 학습률 등을 이용해 가중치를 갱신한다.


조금 더 깊이 · 선택해서 읽기

양자화는 일부 숫자를 더 적은 비트로 표현해 메모리와 연산 부담을 줄이는 방법입니다. 품질·속도 변화는 방식과 장치에 따라 달라지며 별도의 평가가 필요합니다.


함께 볼 위키

GPU · 벡터


출처와 더 읽을 자료

NVIDIA — GPU Performance Background User’s Guide — GPU의 병렬 계산과 메모리 · 확인 2026-10-29

PyTorch — Automatic Differentiation with torch.autograd — 계산 그래프·역전파·기울기 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #신경망 #딥러닝 #만화로배우기 #지식채널

Comments (0)