학습·프롬프트·RAG·파인튜닝 — 모델에 지식을 넣는 네 가지 길

AI 도입 논의에서 가장 자주 나오는 문장이 "우리 데이터를 학습시키면 되지 않나요"입니다. 이 문장에는 오해가 하나 들어 있습니다. 모델에 지식을 넣는 방법은 학습 말고도 셋이 더 있고, 대부분의 업무는 그 셋 중 하나로 끝납니다. 이 글은 네 가지 방법을 무엇을 바꾸는가와 얼마나 드는가로 나눠 비교합니다.

출발점: 모델은 두 단계로 만들어진다

생성 원리 편에서 짧게 언급한 두 단계를 조금 더 풀어 보겠습니다.

사전학습(pretraining) — 웹 문서·책·코드를 대량으로 읽으며 "다음 토큰 예측"을 익힙니다. 여기서 언어 능력, 일반 지식, 추론 패턴이 생깁니다. 비용과 규모가 개별 기업이 감당할 수준이 아니라 모델 제공사가 합니다.

후훈련(post-training) — 사람이 쓴 모범 답변을 따라 하게 하고(지도 미세조정), 두 답변 중 사람이 선호하는 쪽을 고르게 하며(선호 학습, RLHF가 대표적), 해로운 요청을 거절하도록 다듬습니다. 우리가 "말을 잘 듣는다"고 느끼는 성질은 여기서 나옵니다.

이 두 단계가 끝난 모델은 파라미터(parameter)가 고정됩니다. 이후 모델이 "아는 것"을 바꾸려면 아래 네 길 중 하나를 씁니다.

네 가지 길

1. 프롬프트에 넣기 — 가장 싸고 가장 먼저

지식을 입력에 직접 써 주는 방법입니다. 시스템 프롬프트에 회사 용어집을 넣고, 대화에 규정 문서를 첨부하고, Projects에 자료를 등록하는 것이 전부 여기에 속합니다.

• 바꾸는 것: 이번 요청에서 모델이 참조하는 정보
• 못 바꾸는 것: 모델의 능력 자체. 컨텍스트 윈도우를 넘는 양은 못 넣습니다.
• 비용: 토큰 요금뿐. 준비 시간은 몇 분.

회사 규정 Q&A, 문서 양식 통일, 톤 맞추기는 대부분 여기서 끝납니다. 어소시에이트 수업 Projects에 지침과 지식 설정하기가 이 방법의 실습입니다.

2. 검색으로 넣기(RAG) — 자료가 컨텍스트보다 클 때

문서가 수천 쪽이면 전부 넣을 수 없습니다. 검색 증강 생성(RAG, Retrieval-Augmented Generation)은 질문이 들어올 때마다 관련 문단만 찾아 프롬프트에 넣습니다. "찾기"는 보통 임베딩(embedding)으로 합니다. 문장을 숫자 벡터로 바꿔 두면 뜻이 비슷한 문장끼리 벡터가 가까워지고, 질문 벡터와 가까운 문단을 골라낼 수 있습니다.

• 바꾸는 것: 모델이 볼 수 있는 자료의 규모. 자료를 고치면 즉시 반영됩니다.
• 못 바꾸는 것: 검색이 놓치면 모델도 모릅니다. 검색 품질이 곧 답변 품질입니다.
• 비용: 자료 색인 구축과 검색 인프라. 관리형 검색 도구를 쓰면 짧고, 직접 만들면 검색 품질을 맞추는 데 시간이 듭니다.

사내 위키 검색, 고객 지원 지식베이스, 계약서 조회가 전형적인 용도입니다. 에이전트의 도구 호출(파일 검색, 데이터베이스 조회)도 원리는 같습니다.

3. 파인튜닝 — 형식과 스타일을 몸에 배게 할 때

파인튜닝(fine-tuning)은 내 데이터로 모델의 파라미터를 추가로 조정하는 것입니다. 오해가 가장 많은 방법입니다. 파인튜닝은 지식을 넣는 데는 약하고 형식·말투·판단 기준을 굳히는 데 강합니다. 회사 문서 1만 건으로 파인튜닝해도 모델이 그 문서 내용을 정확히 "기억"하지는 않습니다. 대신 그 문서들의 문체, 분류 기준, 출력 형식은 프롬프트 없이도 따르게 됩니다.

• 바꾸는 것: 기본 행동. 긴 프롬프트 없이도 원하는 형식으로 답합니다.
• 못 바꾸는 것: 사실 지식. 자료가 바뀌면 다시 학습해야 합니다.
• 비용: 정제된 학습 데이터(목적에 따라 수량이 크게 다릅니다), 학습·평가 인프라, 그리고 모델이 바뀔 때마다 반복.

프롬프트로 해결한 뒤 "프롬프트가 너무 길어 비용이 문제다"가 됐을 때 검토하는 방법입니다. 처음부터 파인튜닝으로 시작하는 프로젝트는 대개 1번과 2번을 건너뛴 것입니다. 이 글을 쓰는 시점에 Claude 계열 모델은 파인튜닝을 일반에 제공하지 않습니다. 이 길은 다른 모델이나 별도 프로그램에서만 열려 있고, 그만큼 1·2·4번으로 먼저 푸는 것이 현실적인 순서입니다.

4. 도구로 넣기 — 지식이 실시간으로 바뀔 때

재고 수량, 오늘 환율, 고객의 현재 주문 상태는 어떤 방법으로도 미리 넣어 둘 수 없습니다. 모델에게 도구(tool)를 주고 필요할 때 조회하게 합니다. 모델은 "재고를 조회해야겠다"고 판단해 도구를 호출하고, 결과를 받아 답변을 만듭니다. MCP(Model Context Protocol)는 이런 도구를 표준 방식으로 연결하는 규약입니다.

• 바꾸는 것: 실시간 데이터 접근, 그리고 조회를 넘어 실행(예약, 발송)까지
• 못 바꾸는 것: 도구가 없는 영역. 도구 설명이 나쁘면 모델이 엉뚱한 도구를 부릅니다.
• 비용: 도구 개발과 권한 설계. 실행 권한이 붙는 순간 보안 검토가 필수입니다.

고르는 순서

위에서 아래로 내려가며, 앞 방법으로 안 될 때만 다음으로 갑니다. 대부분의 업무는 1번과 4번의 조합에서 끝납니다.

응시 안내: Claude 자격증은 Claude Partner Network 소속 조직의 회사 이메일로만 등록할 수 있고, 개인 이메일로는 응시할 수 없습니다. 자격증보다 도메인 학습 자체에 무게를 두시고, 응시 조건은 자격증 가이드에서 확인하시기 바랍니다.

이어서 읽기

• 앞 편: 환각은 버그가 아니라 생성 원리의 그림자다
• 다음 편: 추론 모델과 확장 사고
• 도구를 설계하는 쪽: 아키텍트 수업 툴 스키마 설계, 블로그 MCP 서버 완전 해설