Choose a default theme

You can change your theme from the menu

Search results · 12

처음에는 'AI가 뭐야?'라는 질문으로 시작했습니다. 이제 빵집 도우미에게 '이번 주 공지를 보고 비 오는 날 준비할 일을 정리해줘'라고 말했을 때 어떤 일이 일어날 수 있는지, 처음부터 끝까지 직접 설명해 봅니다. 개발 단계에서 사전학습·SFT·선호 학습 등의 방법으로 모델의 가중치를 조정할 수 있습니다. 모든 모델이 같은 단계를 거치는 것은 아니지만 학습과 답변 실행은 구별됩니다. 사용자가 질문하는 일반적인 추론에서는 준비

빵 사진을 보여주며 '어느 쪽이 더 많이 구워졌어?'라고 묻거나 음성으로 주문을 받아 적게 할 수 있습니다. 텍스트·이미지·음성·영상 같은 정보의 형태를 모달리티라고 합니다. 멀티모달 시스템은 여러 형태를 함께 처리하거나 다른 형태의 결과를 생성합니다. 모든 모델이 모든 입력과 출력을 지원하는 것은 아닙니다. 이미지를 보고 텍스트로 답하는 모델, 음성을 받아 음성으로 응답하는 모델 등 지원 범위와 구조가 다릅니다. 이미지를 조

AI가 '합계를 계산했습니다'라고 썼습니다. 실제 계산기를 쓴 것인지, 문장으로 계산 결과를 생성한 것인지 어떻게 다를까요? 도구 호출을 지원하는 모델은 사용할 도구 이름과 입력값 등을 정해진 형식으로 출력할 수 있습니다. 주변 프로그램이 그 요청을 읽고 실제 계산기·검색기·파일 기능 등을 실행합니다. 도구 실행 결과는 다시 모델 입력으로 전달되어 설명이나 다음 행동에 사용될 수 있습니다. '호출하려고 했다', '실행되었다',

민지가 '이번 주 신메뉴 안내문을 바탕으로 손님 질문에 답해줘'라고 부탁합니다. 모델이 이미 배웠는지 기대하는 대신 관련 문서를 찾아 입력에 넣어줄 수 있습니다. 검색 증강 생성, RAG는 외부 자료를 검색하고 그 내용을 생성 과정에 활용하는 접근입니다. 대표적인 흐름은 질문→검색→관련 자료 제공→답변입니다. 빵집 공지를 여러 조각으로 나누어 저장하고 질문과 관련된 조각을 찾을 수 있습니다. 키워드 검색·벡터 검색·재순위화 등

어제 빵집 이름을 알려줬더니 오늘도 기억하는 것 같습니다. 그러면 모델의 가중치에 우리 가게 이름이 새겨진 걸까요? 문맥은 답변할 때 주어진 메시지·자료·도구 결과입니다. 서비스가 다시 보내 준 이전 대화도 여기에 포함됩니다. 같은 대화방에 모든 기록이 보인다고 해서 그 전체가 매번 모델 입력으로 들어가는 것은 아닙니다. 길이 제한이나 서비스 정책에 따라 일부만 포함하거나 요약할 수 있습니다. 컨텍스트 윈도는 모델이 한 번에

AI가 어떤 논문의 제목·저자·발표 연도를 또박또박 알려줬습니다. 그런데 검색해 보니 그런 논문을 찾을 수 없습니다. 이 시리즈에서 환각은 사실과 다르거나 주어진 근거로 뒷받침되지 않는 내용을 모델이 생성하는 현상을 가리킵니다. 존재하지 않는 출처, 잘못된 날짜, 원문에 없는 요약 내용 등이 사례입니다. 사람을 속이려는 의도를 가졌다고 가정할 필요는 없습니다. 모델이 어떤 방식으로 틀리는지 관찰하고 줄이는 것이 실용적인 문제입

긴 자료를 붙이면 답변을 시작하기까지 기다리게 되고, 답변이 시작된 뒤에는 글자가 차례로 나타납니다. 프리필은 이미 주어진 입력 토큰들을 처리하는 단계입니다. 대표적인 인과적 트랜스포머에서도 마스크를 지키면서 여러 입력 위치를 함께 계산할 수 있습니다. 마지막 위치 출력에서 다음 토큰을 선택할 준비를 합니다. 입력 길이가 길면 처리할 양과 메모리 요구가 늘어날 수 있습니다. 실제 대기 시간에는 모델 계산뿐 아니라 서버 대기·통

같은 질문을 두 번 했는데 답변 표현이 달라졌습니다. 모델은 어휘의 토큰마다 로짓이라는 점수를 냅니다. 소프트맥스는 점수들을 양수이고 합이 1인 값으로 바꾸는 대표적인 함수입니다. 이를 다음 토큰의 확률 분포로 해석할 수 있습니다. 여기서 확률은 문맥 뒤에 특정 토큰이 이어질 가능성에 대한 모델의 분포입니다. 문장 전체가 사실일 확률이나 답변을 믿어도 될 확률과 같은 뜻이 아닙니다. 탐욕적 선택은 확률이 가장 높은 토큰을 택합

같은 질문에 답변 두 개가 나왔습니다. 하나는 길지만 질문을 놓쳤고, 다른 하나는 짧고 정확하게 도움을 줍니다. 어떤 답변을 더 선호하는지 비교한 자료도 학습에 활용할 수 있습니다. SFT는 바람직한 답변을 예시로 주고, 선호 학습은 여러 답변 중 어떤 것을 더 좋게 보았는지 알려 줍니다. 사람의 평가 기준은 친절함·도움·지시 준수·안전성 등 여러 요소를 포함할 수 있습니다. 평가자를 어떻게 선정하고 어떤 기준을 제시하는지에

민지는 빵집 도우미가 질문에 짧고 친절하게 답했으면 합니다. 사전학습 모델에게 좋은 질문·답변 예시를 보여주며 행동을 가르치는 방법이 있습니다. SFT는 미리 학습된 모델에 지시와 바람직한 응답 등의 예시를 제공해 추가로 학습하는 방식입니다. 어떤 입력에 어떤 응답을 내도록 할지 구체적인 사례를 통해 조정합니다. 예를 들어 영업시간 질문에는 확인된 시간만 답하고, 모르는 내용은 확인이 필요하다고 말하는 예시를 만들 수 있습니다

같은 구조의 신경망을 만들었다고 곧바로 한국어로 대화할 수 있을까요? 계산 경로가 있어도 그 안의 수많은 값은 학습으로 정해야 합니다. 자기회귀 사전학습은 앞부분으로 다음 토큰을 맞히는 일을 대량으로 반복합니다. 정답은 원문에 있습니다. 예측과 목표의 차이에서 손실을 구하고, 역전파로 기울기를 계산하며, 옵티마이저로 가중치를 바꿉니다. 수집한 자료를 그대로 모두 넣는 것으로 끝나지 않습니다. 중복·잡음·품질·언어 구성·사용 권

민지의 질문이 화면에 나타났습니다. “비 오는 날 빵집은 무엇을 준비하면 좋을까?” 이제 이 문장을 따라 모델 안으로 들어가 봅니다. 서비스는 사용자 질문과 필요한 대화 기록·지시를 모델 입력 형식으로 묶습니다. 토크나이저가 이를 토큰 ID로 바꾸고, 모델은 각 ID에 대응하는 임베딩 벡터를 가져옵니다. ID는 항목을 가리키는 번호이고 임베딩은 계산에 쓰는 숫자 묶음입니다. 둘을 같은 것으로 보지 않습니다. 순서 정보도 모델이