Choose a default theme

You can change your theme from the menu

— views

AI 입문 30화. 어텐션 뒤에는 무엇이 있을까? — 블록의 나머지 부품

Collections : 만화로 배우는 AI — 처음 만나는 인공지능부터 LLM의 내부까지(42)

어텐션이 정보를 모아줬다면 그다음에는 무엇을 할까요?



피드포워드 계산이 표현을 가공합니다

대표적인 트랜스포머의 FFN은 각 위치의 벡터를 선형 변환과 비선형 활성화 등을 거쳐 바꿉니다. 기본 구조에서는 같은 FFN 매개변수를 여러 위치에 적용하지만 각 위치의 입력 값은 다릅니다.

FFN은 각 위치의 특징을 변환합니다. 모델에 따라 게이트나 전문가 혼합처럼 다른 구성을 쓰기도 합니다.


잔차 연결이 이전 표현을 이어줍니다

잔차 연결은 입력 x에 어떤 변환 결과 F(x)를 더해 x+F(x)처럼 전달하는 경로입니다. 원래 표현이 직접 이어지는 길을 제공하고 깊은 구조의 학습을 돕습니다.

이는 문장을 그대로 저장해 두는 외부 메모장과는 다릅니다. 숫자 표현 사이의 덧셈 경로입니다. 단순히 이전 정보를 완벽하게 보존한다고 단정하지도 않습니다. 이후 계산에서 계속 변환되기 때문입니다.


정규화가 값의 규모를 다룹니다

층 정규화는 한 위치의 특징 값들을 기준으로 규모 등을 조정하는 방법입니다. RMSNorm 같은 관련 변형도 있습니다. 학습과 계산을 안정적으로 만드는 데 활용되지만 구체적인 방식은 모델마다 다릅니다.

정규화를 변환 전이나 뒤 어디에 두는지, 어떤 활성화를 쓰는지에 따라 블록 구성은 달라집니다. 만화는 역할의 비유이며 모든 모델의 정확한 배치도를 뜻하지 않습니다.


정보를 모은 뒤에도 가공할 일이 남습니다

어텐션은 위치 사이의 정보를 섞고 FFN은 각 위치의 표현을 가공합니다. 잔차 연결은 입력 경로의 값을 결과에 더합니다.


한눈에 정리하기

부품

주요 역할

어텐션

허용된 위치의 정보 결합

FFN

위치별 표현 가공

잔차 연결

입력과 변환 결과를 연결

정규화

특징 값의 규모 조정


정규화가 항상 값을 0~1로 바꾼다는 뜻은 아닙니다.


확인 문제

잔차 연결의 입력이 3이고 변환 결과 F(3)이 2다. x + F(x)의 출력은?

① 2

② 5

정답과 해설

정답 ② 5 · 입력이 변환 경로를 우회해 더해지므로 3 + 2다.


같은 블록에서 다른 위치의 토큰 정보를 모으는 연산은?

① 위치별 피드포워드 연산

② 어텐션

정답과 해설

정답 ② 어텐션 · 어텐션은 참조 가능한 토큰들의 값을 조합한다. 위치별 피드포워드 층은 각 위치의 표현을 따로 가공한다.


조금 더 깊이 · 선택해서 읽기

대표적인 pre-norm 블록은 정규화→어텐션→잔차 덧셈, 정규화→FFN→잔차 덧셈으로 볼 수 있습니다. 원 논문의 post-norm 배치와 혼동하지 않습니다.


함께 볼 위키

트랜스포머 블록


출처와 더 읽을 자료

Vaswani 외 — Attention Is All You Need (2017) — 원래 인코더·디코더 구조와 어텐션 · 확인 2026-10-29

Ba 외 — Layer Normalization (2016) — 층 정규화 · 확인 2026-10-29

Zhang·Sennrich — Root Mean Square Layer Normalization (2019) — RMSNorm 변형 · 확인 2026-10-29


만화는 AI로 제작한 비유이며, 별도 표시가 없는 수치는 가상 예시입니다.

#AI입문 #트랜스포머 #어텐션 #만화로배우기 #지식채널

Comments (0)