— views
AI 입문 25화. 문장을 차례로 읽는 방법에서 트랜스포머까지
문장을 한 조각씩 읽으며 앞의 내용을 작은 메모에 담는 방법을 떠올려 봅시다. 길어질수록 필요한 정보를 잘 유지하기 어려울 수 있습니다.
순환신경망은 이전 상태를 이어받습니다
순환신경망은 입력을 차례로 읽으며 상태를 다음 단계로 넘깁니다. LSTM은 그 과정에서 정보를 더 잘 유지하도록 설계한 구조입니다.
길게 떨어진 단서를 다루거나 계산을 병렬화하는 데 어려움이 생길 수 있습니다. 다만 순환 구조가 모든 문제에서 쓸모없어졌다는 뜻은 아닙니다. 목적과 비용에 따라 다양한 구조가 연구되고 사용됩니다.
트랜스포머는 어텐션을 중심에 둡니다
2017년 제안된 원래 트랜스포머는 번역을 위한 인코더·디코더 구조였습니다. 토큰끼리 필요한 정보를 결합하는 어텐션과 위치별 계산 등을 사용했습니다.
오늘날 생성형 LLM에서 흔히 보는 디코더 전용 구조는 원 논문의 전체 번역 구조와 다릅니다. 같은 트랜스포머 계열이라고 해도 사용하는 블록과 입력·출력 방식이 같지는 않습니다.
학습의 병렬화와 생성의 순서는 다릅니다
학습 자료의 문장을 알고 있을 때는 마스크를 적용해 여러 위치의 계산을 함께 처리할 수 있습니다. 미래 정답을 보지 못하게 하면서도 장치의 병렬 계산을 활용합니다.
반면 자기회귀 생성에서는 아직 다음 토큰이 정해지지 않았으므로 보통 선택한 결과를 붙여 가며 반복합니다. '트랜스포머는 병렬이니까 긴 답변을 항상 한 번에 완성한다'는 설명은 정확하지 않습니다.
메모를 이어받는 계산과 관계를 모으는 계산

순환신경망은 먼 정보를 중간 상태를 거쳐 전달합니다. 셀프어텐션은 허용된 위치를 직접 비교하지만, 참조할 위치가 늘면 계산·메모리 부담도 커집니다.
한눈에 정리하기
구조·단계 | 직관 |
|---|---|
순환 구조 | 이전 상태를 다음 단계로 전달 |
어텐션 | 허용된 위치들의 정보를 결합 |
학습 | 여러 위치의 계산을 병렬화 가능 |
자기회귀 생성 | 선택한 토큰을 이어 반복 |
모든 언어 모델이 트랜스포머인 것은 아닙니다.
조금 더 깊이 · 선택해서 읽기
어텐션은 트랜스포머 이전의 신경망에서도 활용되었습니다. 트랜스포머의 의의는 어텐션을 처음 발명했다는 식으로 설명하기보다 전체 구조와 병렬화 특성에서 이해합니다.
함께 볼 위키
출처와 더 읽을 자료
Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29
Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29
Dive into Deep Learning — Recurrent Neural Networks — 순환 상태와 시퀀스 · 확인 2026-10-29
만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.
Comments (0)