Choose a default theme

You can change your theme from the menu

트랜스포머 블록

트랜스포머 블록은 어텐션·피드포워드 계산·잔차 연결·정규화 등을 묶은 반복 계산 단위입니다. 부품의 순서와 종류는 모델에 따라 달라지며 원 논문의 배치를 모든 현대 모델에 그대로 적용할 수는 없습니다.

다른 이름: Transformer Block


피드포워드 계산이 표현을 가공합니다

대표적인 트랜스포머의 FFN은 각 위치의 벡터를 선형 변환과 비선형 활성화 등을 거쳐 바꿉니다. 기본 구조에서는 같은 FFN 매개변수를 여러 위치에 적용하지만 각 위치의 입력 값은 다릅니다.

어텐션이 위치 사이의 정보를 결합하는 데 중심적인 역할을 한다면 FFN은 그 결과의 특징을 가공합니다. 실제 모델에서는 게이트나 전문가 혼합 등 다양한 변형을 사용할 수 있습니다.


잔차 연결이 이전 표현을 이어줍니다

잔차 연결은 입력 x에 어떤 변환 결과 F(x)를 더해 x+F(x)처럼 전달하는 경로입니다. 원래 표현이 직접 이어지는 길을 제공하고 깊은 구조의 학습을 돕습니다.

이는 문장을 그대로 저장해 두는 외부 메모장과는 다릅니다. 숫자 표현 사이의 덧셈 경로입니다. 단순히 이전 정보를 완벽하게 보존한다고 단정하지도 않습니다. 이후 계산에서 계속 변환되기 때문입니다.


정규화가 값의 규모를 다룹니다

층 정규화는 한 위치의 특징 값들을 기준으로 규모 등을 조정하는 방법입니다. RMSNorm 같은 관련 변형도 있습니다. 학습과 계산을 안정적으로 만드는 데 활용되지만 구체적인 방식은 모델마다 다릅니다.

정규화를 변환 전이나 뒤 어디에 두는지, 어떤 활성화를 쓰는지에 따라 블록 구성은 달라집니다. 각 모델의 공개된 구조와 설정에 맞춰 배치를 확인해야 합니다.


예시와 비교

부품

주요 역할

어텐션

허용된 위치의 정보 결합

FFN

위치별 표현 가공

잔차 연결

입력과 변환 결과를 연결

정규화

특징 값의 규모 조정



주의할 해석

정규화는 데이터를 0~1로 바꾸는 모든 작업의 다른 이름이 아닙니다. 적용 대상과 계산 방식에 따라 여러 종류가 있습니다.


추가 설명

대표적인 pre-norm 블록은 정규화→어텐션→잔차 덧셈, 정규화→FFN→잔차 덧셈으로 볼 수 있습니다. 원 논문의 post-norm 배치와 혼동하지 않습니다.



출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Ba 외 — Layer Normalization (2016) — 층 정규화 · 확인 2026-10-29

Zhang·Sennrich — Root Mean Square Layer Normalization (2019) — RMSNorm 변형 · 확인 2026-10-29