대부분의 사람들은 매일 ChatGPT와 Claude를 사용하지만, 정작 그것들이 어떻게 만들어졌는지는 전혀 알지 못합니다.
이 글을 저장해 두세요 :)
소수의 사람들만이 방대한 인터넷 텍스트를 글쓰기, 추론, 코딩이 가능한 모델로 바꾸는 정확한 파이프라인을 이해하고 있습니다. 그리고 그 파이프라인을 이해하는 순간, 이 도구들을 사용하는 방식이 영원히 바뀝니다. 마법처럼 여기는 대신, 내부에서 실제로 무슨 일이 일어나고 있는지 비로소 알게 되기 때문입니다.
이 두 그룹의 차이는 수학 학위가 아닙니다.
단 하나의 명확한 멘탈 모델(mental model) 차이일 뿐입니다.
거의 아무도 쉽게 설명해주지 않는 진실은 이것입니다. GPT, Claude 등 모든 프론티어 모델은 동일한 5단계 파이프라인을 통해 구축됩니다. 기업마다 규모, 데이터, 수천 가지의 엔지니어링 세부 사항은 다르지만, 그 과정의 형태는 어디서나 동일합니다. 그 형태를 배우면 모든 모델이 어떻게 만들어지는지 이해하게 됩니다.
시작하기 전에 솔직하게 기대치를 설정하겠습니다. 여러분이 노트북으로 GPT나 Claude와 경쟁할 모델을 처음부터 끝까지 학습시킬 수는 없습니다. 그런 모델들은 수천만 달러의 컴퓨팅 비용이 들며 거대한 엔지니어링 팀이 필요합니다. 여기서의 목표는 그런 것이 아닙니다. 파이프라인을 깊이 이해하여 스스로 작은 작동 버전을 만들어 보고, 대형 모델들이 어떻게 작동하는지 추론하며, 더 이상 그 작동 원리에 신비감을 느끼지 않게 되는 것이 목표입니다. 그 이해는 대부분의 사람들이 생각하는 것보다 훨씬 더 가치 있으며, 충분히 도달 가능한 영역입니다.
이제 그 5단계를 순서대로, 실제로 일어나는 그대로 설명하겠습니다.
1단계: 데이터 — 모든 것의 기반
모델이 존재하기 전에는 텍스트가 있습니다. 그것도 엄청난 양의 텍스트가 말이죠.
첫 번째 단계는 모델이 학습할 데이터를 수집하고 준비하는 것입니다. 프론티어 모델의 경우, 이는 엄청난 양의 텍스트를 의미합니다. 공개된 인터넷의 상당 부분, 책, 코드 저장소 등이 포함됩니다. 하지만 원시 텍스트는 지저분하기 때문에, 이 단계의 작업 대부분은 수집이 아니라 정제(cleaning)입니다.
데이터는 쓰레기를 제거하기 위해 필터링되고, 중복된 콘텐츠는 삭제됩니다(같은 문단이 수천 번 반복되면 모델이 학습하는 내용이 왜곡되기 때문입니다). 또한 저품질이거나 유해한 자료는 걸러냅니다. 이 정제 과정은 사람들이 생각하는 것보다 훨씬 중요합니다. "쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)"는 옛 원칙은 여전히 유효합니다. 더 깨끗하고 고품질의 데이터로 학습된 모델이 더 많지만 지저분한 데이터로 학습된 모델보다 더 잘 배웁니다. 데이터 품질은 이 분야 전체에서 가장 중요하면서도 가장 덜 주목받는 요소 중 하나입니다.
그다음 초보자들을 놀라게 하는 단계가 나옵니다. 바로 토큰화(tokenization)입니다. 모델은 텍스트를 직접 읽을 수 없습니다. 텍스트는 단어의 일부분 정도 크기인 '토큰'이라는 단위로 쪼개집니다. "tokenization"이라는 단어는 3~4개의 토큰이 될 수 있습니다. 모든 학습 데이터는 이러한 토큰으로 변환되며, 그 시점부터 모델은 토큰을 나타내는 숫자만 볼 뿐, 글자는 절대 보지 못합니다. 모델이 가끔 단어의 철자 개수를 틀리는 이유가 바로 이것입니다. 모델은 글자를 본 적이 없고 오직 토큰만 봤기 때문입니다.
이 단계의 결과물은 거대하고 깨끗하며 토큰화된 데이터셋입니다. 아직 아무것도 학습되지 않았습니다. 단지 원재료를 준비했을 뿐입니다.
이 단계를 배우기 위해 할 일
- 텍스트를 토큰화기에 넣어 토큰으로 분리되는 과정을 지켜보며 토큰화기가 실제로 무엇을 하는지 배우기
- 작은 텍스트 데이터셋을 가져와 중복 제거, 쓰레기 필터링, 형식 정규화 등 정제 연습하기
- 깨끗한 데이터와 지저분한 데이터로 학습한 작은 모델을 비교하여 왜 데이터 품질이 데이터 양보다 중요한지 이해하기
- 주요 연구소들이 데이터 필터링을 어떻게 설명하는지 읽어보고, 거기에 얼마나 많은 노력이 들어가는지 확인하기
2단계: 사전 학습(Pretraining) — 모델이 언어를 배우는 곳
이 단계는 수백만 달러가 소요되며, 모델이 아는 거의 모든 것을 배우는 곳입니다.
사전 학습의 목표는 매우 단순합니다. '다음 토큰 예측하기'입니다. 모델에게 토큰 시퀀스를 보여주고 다음 토큰을 추측하게 합니다. 모델이 추측하면 그 추측값을 실제 다음 토큰과 비교하고, 모델의 내부 숫자(파라미터, 종종 수십억 개)를 조정하여 다음번에는 더 잘 추측하게 만듭니다. 그리고 다시 반복합니다. 수조 개의 토큰에 걸쳐서 말이죠.
이것이 학습 목표의 전부입니다. 거대한 규모로 다음 토큰을 계속해서 예측하는 것뿐입니다. 그리고 그 터무니없이 단순한 목표에서 놀라운 결과가 나타납니다. 모든 인간의 텍스트에서 다음 토큰을 잘 예측하기 위해, 모델은 문법, 사실, 추론 패턴, 코딩 구문, 논증 구조를 강제로 학습하게 됩니다. 왜냐하면 그 모든 것이 예측을 더 잘하게 도와주기 때문입니다. 아무도 모델에게 문법을 명시적으로 가르치지 않았습니다. 문법이 다음 단어를 추측하는 데 도움이 되기 때문에 스스로 배운 것입니다.
사전 학습의 결과물을 베이스 모델(base model)이라고 합니다. 언어의 강력한 엔진이지만, 아직 다듬어지지 않은 상태입니다. 베이스 모델은 자신이 도움이 되는 비서가 되어야 한다는 사실을 모릅니다. 질문을 던지면 문장을 이어가거나 비슷한 질문 목록을 생성할 수도 있습니다. 왜냐하면 모델은 그저 텍스트를 그럴듯하게 이어가는 법만 배웠기 때문입니다. 방대한 지식은 있지만 예의는 없습니다. 아직 어떤 일을 해야 할지 지시받지 않은, 엄청난 능력을 갖춘 도구인 셈입니다.
이 단계를 이해하는 것이 이 글 전체에서 가장 중요한 열쇠입니다. 모델의 핵심이 거대한 규모의 다음 토큰 예측이라는 것을 이해하면, 모델의 유창함과 환각(hallucination) 현상 모두 완벽하게 이해가 됩니다. 모델은 진실을 말하기 위해서가 아니라 그럴듯하게 이어가기 위해 만들어졌기 때문입니다. 진실은 이후 단계와 여러분의 엔지니어링이 추가해야 할 부분입니다.
이 단계를 배우기 위해 할 일
- 다음 토큰 예측 목표를 친구에게 한 문장으로 설명할 수 있을 때까지 내면화하기
- 작은 데이터셋으로 작은 언어 모델을 학습시켜 보며(초보자를 위한 유명한 튜토리얼이 많습니다) 학습 루프를 직접 느껴보기
- 파라미터, 데이터, 컴퓨팅의 관계를 이해하고, 왜 이 세 가지를 모두 확장하는 것이 모델을 개선했는지 파악하기
- 이 단계가 왜 모델이 유창하면서도 자신 있게 거짓말을 하는지 설명해주는지 확인하기
3단계: 지도 미세 조정(Supervised Fine-Tuning) — 모델에게 유용한 법 가르치기
이제 그 똑똑하지만 예의 없는 베이스 모델을 가져와 어떤 일을 해야 하는지 가르칠 차례입니다.
베이스 모델은 언어는 알지만 질문에 도움이 되도록 답해야 한다는 사실은 모릅니다. 보통 SFT라고 줄여 부르는 지도 미세 조정이 이를 해결합니다. 원하는 행동의 예시를 수천 개 보여줍니다. 질문과 좋은 답변, 지시와 올바른 응답, 문제와 명확한 해결책을 짝지어 주는 식입니다.
모델은 사전 학습 때와 같은 방식으로, 즉 토큰을 예측하며 이 예시들로 학습합니다. 하지만 이제 데이터는 도움이 되는 비서가 어떻게 응답해야 하는지에 대한 정교한 시연입니다. 모델은 유용한 응답의 형식을 배웁니다. 질문을 받았을 때 텍스트를 계속 이어가거나 횡설수설하는 대신 도움이 되는 답변을 내놓는 법을 익히는 것이죠.
이 예시들의 품질은 매우 중요하며, 종종 사람이 직접 작성하거나 신중하게 큐레이션합니다. 사전 학습보다 훨씬 적은 데이터(수조 개의 토큰 대신 수천~수만 개의 예시)를 사용하지만, 고품질의 의도적이고 타겟팅된 데이터입니다. 비교적 적은 양의 훌륭한 시연 데이터만으로도 원시 베이스 모델을 비서처럼 행동하는 무언가로 변모시킬 수 있습니다.
SFT 이후에는 진정으로 유용한 모델이 됩니다. 지시를 따르고, 질문에 답하며, 작업에 집중합니다. 많은 목적에서 이 단계만으로도 이미 작동하는 비서가 됩니다. 하지만 우리가 실제로 사용하는 모델만큼 도움이 되고, 무해하며, 세련되지는 않았습니다. 마지막 두 단계가 필요한 이유가 바로 이것입니다.
이 단계를 배우기 위해 할 일
- 베이스 모델과 미세 조정된 모델이 각각 어떻게 응답하는지 예시를 읽어보며 차이점 이해하기
- 작은 지시 데이터셋을 직접 만들거나 검토해 보기: 원하는 행동을 보여주는 질문-답변 쌍 만들기
- 작은 오픈 소스 모델을 특정 작업에 미세 조정해 보고 행동이 어떻게 변하는지 지켜보기
- 시연 예시의 양보다 품질이 얼마나 중요한지 확인하기
4단계: 보상 모델링(Reward Modeling) — 모델에게 "좋은 것"이 무엇인지 가르치기
이 단계는 대부분의 설명에서 건너뛰는 부분이지만, 현대 모델이 어떻게 그렇게 세련되게 변하는지 보여주는 핵심입니다.
연구소들이 직면한 문제는 이것입니다. SFT 이후 모델은 좋은 답변을 내놓지만, "좋다"는 것을 예시만으로 정의하기는 어렵습니다. 대부분의 질문에는 단 하나의 정답이 없으며, 더 좋은 답변과 나쁜 답변이 있을 뿐입니다. 규칙을 작성할 수 없을 때 모델에게 더 나은 답변을 선호하도록 어떻게 가르칠까요?
해결책은 우아합니다. 모델이 동일한 프롬프트에 대해 여러 개의 다른 답변을 생성하게 합니다. 그다음 사람이 그 답변들을 보고 순위를 매깁니다. "이것이 저것보다 낫다"고 말이죠. 이런 인간의 선호도 비교 데이터를 대량으로 수집합니다. 그리고 그것을 직접 사용하는 대신, 보상 모델(reward model)이라는 두 번째 모델을 학습시킵니다. 이 모델의 유일한 임무는 어떤 답변을 보고 사람이 어떻게 평가할지 예측하는 것입니다.
이것이 무엇을 달성하는지 생각해보세요. 메인 모델이 생성하는 모든 답변을 사람이 평가하게 할 수는 없습니다. 확장성이 없기 때문이죠. 하지만 인간의 판단 샘플로 보상 모델을 학습시키면, 수백만 개의 답변을 채점할 수 있는 인간 선호도의 자동화된 대리인을 갖게 됩니다. 보상 모델은 "인간이 좋아하는 것"과 "컴퓨터가 최적화할 수 있는 것" 사이의 가교 역할을 합니다.
보상 모델은 사용자와 직접 대화하지 않습니다. 막후의 심판관입니다. 하지만 이 모델은 마지막 단계를 여는 열쇠입니다. 인간 팀이 감당할 수 없는 규모로 메인 모델을 인간이 실제로 선호하는 답변으로 유도할 수 있는 방법을 제공하기 때문입니다.
이 단계를 배우기 위해 할 일
- 답변의 순위를 매기는 것(이것이 저것보다 낫다)이 완벽한 답변을 작성하는 것보다 왜 더 쉽고 확장 가능한지 이해하기
- 핵심 아이디어 파악하기: 보상 모델은 인간의 판단을 모방하도록 학습되어 답변을 자동으로 채점할 수 있음
- 인간의 비교를 통해 선호도 데이터가 어떻게 수집되는지 읽어보기
- 이 단계가 어떻게 인간 취향의 복잡함을 학습 과정에서 사용할 수 있는 것으로 연결하는지 확인하기
5단계: 강화 학습(Reinforcement Learning) — 모델을 우리가 사용하는 형태로 다듬기
마지막 단계는 지금까지 구축된 모든 것을 가져와 우리가 실제로 상호작용하는 도움이 되고 신중한 비서로 모델을 다듬는 과정입니다.
이 단계는 보통 RLHF(인간 피드백을 통한 강화 학습)라고 불립니다. 구성 요소들이 어떻게 결합되는지 살펴보겠습니다. 3단계에서 미세 조정된 모델과 4단계의 보상 모델을 가져옵니다. 미세 조정된 모델이 답변을 생성하면 보상 모델이 점수를 매깁니다. 그리고 미세 조정된 모델은 강화 학습을 통해 더 높은 점수를 받는 답변을 생성하도록 유도됩니다. 생성, 채점, 개선, 반복의 루프입니다.
보상 모델은 끝없이 채점할 수 있기 때문에, 메인 모델은 직접적인 인간 예시가 제공할 수 있는 것보다 훨씬 더 많이 연습하고 개선될 수 있습니다. 여러 라운드를 거치면서 모델은 더 도움이 되고, 더 일관성 있으며, 뉘앙스를 잘 따르고, 하지 말아야 할 일을 거절하는 법을 배웁니다. 이 단계가 모델에게 세련미, 좋은 판단력, 그리고 많은 안전 행동을 부여합니다.
알아두면 좋은 현대적인 변형으로, 인간 피드백의 일부를 서면 원칙에 따라 생성된 피드백으로 대체하거나 보완할 수 있습니다. 이를 RLAIF 또는 헌법적 방법(constitutional methods)이라고 부르기도 합니다. 정신은 같습니다. 모든 것을 평가하기 위해 인간에게만 의존하는 대신, 명확하게 명시된 가치에 따라 모델의 행동을 형성하는 피드백을 확장하는 것입니다.
이 단계가 끝나면 완성된 제품이 나옵니다. 사전 학습으로 유창하고, 미세 조정으로 유용하며, 강화 학습으로 세련되고 정렬된 모델입니다. 여러분이 ChatGPT나 Claude를 열었을 때 대화하는 대상이 바로 이것입니다. 5단계, 각 단계가 이전 단계를 기반으로 구축됩니다.
이 단계를 배우기 위해 할 일
- 루프 이해하기: 모델이 생성하고, 보상 모델이 채점하며, 모델이 더 높은 점수를 향해 개선됨
- 이것이 왜 모델이 직접적인 인간 예시의 한계를 훨씬 뛰어넘어 연습할 수 있게 하는지 파악하기
- 인간 피드백으로부터 배우는 것과 원칙에 따라 AI 피드백으로부터 배우는 것의 차이 읽어보기
- 이 마지막 단계가 사용자가 경험하는 유용성, 판단력, 안전 행동을 어떻게 만들어내는지 확인하기
한 번에 보는 전체 파이프라인
전체를 하나로 묶어 정리해 보겠습니다.
산더미 같은 텍스트를 수집하고 정제하여 토큰으로 바꿉니다. 모든 텍스트에 대해 다음 토큰을 예측하도록 모델을 학습시키면, 언어는 이해하지만 예의는 없는 베이스 모델이 나옵니다. 이를 큐레이션된 예시로 미세 조정하여 도움이 되는 비서처럼 행동하도록 가르칩니다. 답변에 대한 인간의 순위를 수집하여 인간의 판단을 모방하는 보상 모델을 학습시킵니다. 마지막으로 그 보상 모델을 사용하여 강화 학습을 통해 비서를 세련되고, 유용하며, 정렬된 상태로 다듬습니다.
데이터, 사전 학습, 미세 조정, 보상 모델링, 강화 학습. 5단계입니다. 모든 프론티어 모델이 만들어지는 방식입니다.
나만의 LLM을 구축하는 것에 대한 솔직한 진실
여러분이 침실에서 프론티어 연구소들을 능가하는 모델을 만들 수는 없으며, 애초에 그게 핵심도 아닙니다.
핵심은 이해입니다. 이 파이프라인이 머릿속에 명확해지면, 여러분은 이 도구들의 수동적인 사용자가 아니라 그것들에 대해 추론하는 사람이 됩니다. 모델이 왜 환각을 일으키는지(다음 토큰 예측) 이해하게 됩니다. 프롬프팅이 왜 작동하는지(예측될 내용을 형성하는 것이기 때문) 이해하게 됩니다. 왜 어떤 모델은 다른 모델보다 더 정렬된 느낌을 주는지(4단계와 5단계의 품질) 이해하게 됩니다. 왜 미세 조정 실험에서 여러분만의 데이터가 그렇게 중요한지 이해하게 됩니다. 이 이해가 바로 가장 유능한 AI 빌더들이 서 있는 기반입니다.
그리고 여기 정말로 힘을 실어주는 부분이 있습니다. 여러분은 이 모든 단계를 작은 규모로 직접 구축해 보며 배울 수 있습니다. 사람들은 항상 미니어처 모델을 학습시키고, 작은 오픈 소스 모델을 미세 조정하며, 선호도 데이터로 실험합니다. Claude를 만들 수는 없겠지만, Claude가 정확히 어떻게 만들어졌는지 가르쳐주는 무언가는 만들 수 있습니다. 그리고 그 지식은 이 분야에서 여러분의 커리어 내내 복리로 쌓일 것입니다.
대부분의 사람들은 수년간 이 모델들을 사용하면서도 그것들이 어떻게 만들어졌는지 단 한 번도 이해하지 못할 것입니다.
여러분은 방금 전체 파이프라인을 읽었습니다. 매일 이 도구들에 타이핑하는 거의 모든 사람들보다 이미 앞서 있습니다.
유일한 질문은 여러분이 직접 작은 버전을 만들어 이해를 실제로 할 수 있는 무언가로 바꿀 것인가 하는 점입니다.
5단계는 바로 위에 있습니다. 1단계부터 선택해서 시작하세요.
이 글이 유용했다면, 저를 팔로우하세요. @eng_khairallah1 이와 같은 더 많은 AI 콘텐츠를 제공합니다. 매주 분석, 강의, 도구를 게시합니다.
도움이 되었기를 바랍니다, Khairallah ❤️
