
어텐션이 정보를 모아줬다면 그다음에는 무엇을 할까요? 대표적인 트랜스포머의 FFN은 각 위치의 벡터를 선형 변환과 비선형 활성화 등을 거쳐 바꿉니다. 기본 구조에서는 같은 FFN 매개변수를 여러 위치에 적용하지만 각 위치의 입력 값은 다릅니다. FFN은 각 위치의 특징을 변환합니다. 모델에 따라 게이트나 전문가 혼합처럼 다른 구성을 쓰기도 합니다. 잔차 연결은 입력 x에 어떤 변환 결과 F(x)를 더해 x+F(x)처럼 전달하는

어텐션이 정보를 모아줬다면 그다음에는 무엇을 할까요? 대표적인 트랜스포머의 FFN은 각 위치의 벡터를 선형 변환과 비선형 활성화 등을 거쳐 바꿉니다. 기본 구조에서는 같은 FFN 매개변수를 여러 위치에 적용하지만 각 위치의 입력 값은 다릅니다. FFN은 각 위치의 특징을 변환합니다. 모델에 따라 게이트나 전문가 혼합처럼 다른 구성을 쓰기도 합니다. 잔차 연결은 입력 x에 어떤 변환 결과 F(x)를 더해 x+F(x)처럼 전달하는

“민지가 준을 도왔다”와 “준이 민지를 도왔다”는 등장인물이 같아도 뜻이 다릅니다. 또 다음 말을 맞히는 연습에서 미래 정답을 미리 보면 시험이 무의미해집니다. 기본 어텐션 계산에 순서 단서를 별도로 주지 않으면 토큰의 위치 관계를 원하는 방식으로 다루기 어렵습니다. 위치 인코딩이나 회전 위치 임베딩 같은 방법으로 순서 정보를 계산에 반영합니다. 위치 번호를 글자처럼 문장 앞에 붙이는 한 가지 방식만 있는 것은 아닙니다. 위치

같은 문장에서도 인물 관계, 시간, 표현의 연결 등 여러 단서가 도움이 됩니다. 하나의 비교 방식만 사용하지 않고 여러 학습된 표현 공간에서 정보를 살피면 어떨까요? 멀티헤드 어텐션은 여러 Q·K·V 변환으로 어텐션 계산을 수행하고 결과를 결합합니다. 같은 입력이라도 다른 변환을 거쳐 서로 다른 관계를 반영할 가능성을 줍니다. 헤드의 역할은 학습 과정에서 형성됩니다. 사람이 미리 지정하거나 언제나 이름을 붙일 수 있는 것은 아

도서관에서 필요한 책을 찾는 상황을 떠올려 봅시다. 내가 찾는 조건, 각 책의 단서, 실제로 가져올 내용은 역할이 다릅니다. 표준 점곱 어텐션은 현재 위치의 쿼리(Q)와 비교할 위치의 키(K)를 내적해 관련도 점수를 구합니다. 도서관 비유의 검색어와 분류표를 떠올릴 수 있지만, 실제로는 사람이 쓴 문장이 아니라 학습된 선형 변환으로 만들어진 숫자 벡터입니다. 같은 입력 표현에서도 서로 다른 변환으로 Q·K·V를 얻습니다. 관련

“민지는 빵을 샀다. 그녀는 그것을 준에게 건넸다.” 여기서 '그녀'와 '그것'을 처리하려면 앞의 어떤 표현이 관련될까요? 셀프 어텐션에서는 각 위치의 표현을 바탕으로 다른 허용된 위치와의 관련도 점수를 구합니다. 이 점수를 가중치로 바꾼 뒤 해당 위치들의 정보 표현을 가중합합니다. '그것'에 빵 정보가 도움이 될 수 있다는 예는 직관을 위한 것입니다. 실제 모델의 점수가 우리가 예상한 문법 관계와 항상 일치하지는 않습니다.


문장을 한 조각씩 읽으며 앞의 내용을 작은 메모에 담는 방법을 떠올려 봅시다. 길어질수록 필요한 정보를 잘 유지하기 어려울 수 있습니다. 순환신경망은 입력을 차례로 읽으며 상태를 다음 단계로 넘깁니다. LSTM은 그 과정에서 정보를 더 잘 유지하도록 설계한 구조입니다. 길게 떨어진 단서를 다루거나 계산을 병렬화하는 데 어려움이 생길 수 있습니다. 다만 순환 구조가 모든 문제에서 쓸모없어졌다는 뜻은 아닙니다. 목적과 비용에 따라