Choose a default theme

You can change your theme from the menu

트랜스포머

트랜스포머는 어텐션과 위치별 변환 등을 중심으로 시퀀스를 처리하는 신경망 구조입니다. 2017년 원 논문은 인코더·디코더 구조를 제시했으며, 이후 인코더 전용·디코더 전용 등 여러 계열에 활용되었습니다.

다른 이름: Transformer


순환신경망은 이전 상태를 이어받습니다

순환신경망은 순서대로 입력을 처리하면서 앞선 상태를 다음 계산에 전달합니다. 문장이나 시간에 따른 자료를 다루는 데 사용되어 왔습니다. LSTM처럼 정보를 유지하도록 개선한 구조도 있습니다.

길게 떨어진 단서를 다루거나 계산을 병렬화하는 데 어려움이 생길 수 있습니다. 다만 순환 구조가 모든 문제에서 쓸모없어졌다는 뜻은 아닙니다. 목적과 비용에 따라 다양한 구조가 연구되고 사용됩니다.


트랜스포머는 어텐션을 중심에 둡니다

2017년 제안된 원래 트랜스포머는 번역을 위한 인코더·디코더 구조였습니다. 토큰끼리 필요한 정보를 결합하는 어텐션과 위치별 계산 등을 사용했습니다.

오늘날 생성형 LLM에서 흔히 보는 디코더 전용 구조는 원 논문의 전체 번역 구조와 다릅니다. 같은 트랜스포머 계열이라고 해도 사용하는 블록과 입력·출력 방식이 같지는 않습니다.


학습의 병렬화와 생성의 순서는 다릅니다

학습 자료의 문장을 알고 있을 때는 마스크를 적용해 여러 위치의 계산을 함께 처리할 수 있습니다. 미래 정답을 보지 못하게 하면서도 장치의 병렬 계산을 활용합니다.

반면 자기회귀 생성에서는 아직 다음 토큰이 정해지지 않았으므로 보통 선택한 결과를 붙여 가며 반복합니다. '트랜스포머는 병렬이니까 긴 답변을 항상 한 번에 완성한다'는 설명은 정확하지 않습니다.


예시와 비교

구조·단계

직관

순환 구조

이전 상태를 다음 단계로 전달

어텐션

허용된 위치들의 정보를 결합

학습

여러 위치의 계산을 병렬화 가능

자기회귀 생성

선택한 토큰을 이어 반복



주의할 해석

이 연재는 대표적인 트랜스포머 LLM을 설명합니다. 모든 AI와 모든 언어 모델이 이 구조를 사용한다고 일반화하지 않습니다.


추가 설명

어텐션은 트랜스포머 이전의 신경망에서도 활용되었습니다. 트랜스포머의 의의는 어텐션을 처음 발명했다는 식으로 설명하기보다 전체 구조와 병렬화 특성에서 이해합니다.



출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Hugging Face — How do Transformers work? — 트랜스포머 계열·사전학습·미세조정 · 확인 2026-10-29

Dive into Deep Learning — Recurrent Neural Networks — 순환 상태와 시퀀스 · 확인 2026-10-29