토큰과 컨텍스트 윈도우 — 한국어는 왜 더 비싼가
요금표에는 "입력 100만 토큰당 얼마"라고 적혀 있고, 모델 설명에는 "컨텍스트 윈도우 100만 토큰" 같은 숫자가 적혀 있습니다(모델마다 다르고, 작은 모델은 그보다 적습니다). 토큰이 무엇인지 모르면 이 두 숫자를 내 작업으로 번역할 수 없습니다. 이 글은 토큰이 무엇인지, 컨텍스트 윈도우가 왜 한계인지, 그리고 한국어 사용자가 무엇을 더 신경 써야 하는지 정리합니다.
토큰: 모델이 읽는 최소 단위
모델은 글자도 단어도 아닌 토큰(token) 단위로 글을 읽고 씁니다. 토큰은 자주 함께 나오는 글자 묶음입니다. 영어에서 "the", "ing", "tion"처럼 흔한 조각은 토큰 하나가 되고, 드문 단어는 여러 토큰으로 쪼개집니다. 이 쪼개기를 담당하는 부품이 토크나이저(tokenizer)이고, 모델마다 다릅니다.
여기서 한국어의 불리함이 생깁니다. 토크나이저는 학습 데이터에 많이 나온 조각을 짧게 만드는데, 대부분의 모델은 영어 데이터가 압도적으로 많습니다. 그래서 같은 뜻의 문장이라도 한국어는 더 잘게 쪼개져 토큰 수가 늘어나는 경향이 있습니다. 정확한 배수는 모델과 문장에 따라 달라서 여기서 숫자로 단정하지 않겠습니다. 대신 직접 재는 방법이 있습니다. 개발자 트랙 수업 LLM 기초의 실습이 언어별 토큰 수를 API로 세어 보는 과정입니다. 한 번 재 보면 감이 잡힙니다.
토큰이 늘어나면 세 가지가 함께 늘어납니다.
- 비용: 입력과 출력 모두 토큰 수로 과금됩니다.
- 지연: 출력은 토큰 하나씩 생성되므로 긴 답변은 그만큼 오래 걸립니다.
- 컨텍스트 소모: 아래에서 설명할 한도를 더 빨리 채웁니다.
컨텍스트 윈도우: 한 번에 볼 수 있는 양
모델이 한 번의 요청에서 볼 수 있는 토큰의 총량이 컨텍스트 윈도우(context window)입니다. 시스템 프롬프트, 첨부한 문서, 지금까지의 대화, 도구가 돌려준 결과, 그리고 모델이 생성할 답변까지 전부 이 한도 안에 들어가야 합니다.
흔한 오해 두 가지를 바로잡겠습니다.
"대화가 길어져도 모델이 다 기억한다" — 아닙니다. 대화형 제품은 매 턴마다 이전 대화를 입력에 다시 넣어 보냅니다. 모델에게는 매번 처음 보는 긴 글입니다. 한도를 넘으면 오래된 부분이 잘리거나 요약되며, 그때 초반에 정한 규칙이 조용히 사라집니다. 긴 작업 중간에 모델이 "처음 지시를 잊은 것처럼" 굴면 대개 이것이 원인입니다.
"한도 안에만 들어가면 다 똑같이 잘 읽는다" — 아닙니다. 컨텍스트가 길어질수록 가운데에 놓인 정보를 놓치는 경향이 여러 실험에서 관찰됐습니다. 중요한 지시와 자료는 앞이나 뒤에 두고, 긴 문서를 통째로 넣기보다 필요한 부분만 넣는 편이 결과가 낫습니다.
컨텍스트를 아끼는 다섯 가지 습관
- 문서는 필요한 범위만. 100쪽짜리 PDF를 통째로 넣고 3쪽에 대해 묻는 것은 비용과 정확도 모두에서 손해입니다.
- 긴 작업은 새 대화로 나눕니다. 결정된 사항을 목록으로 뽑아 새 대화의 첫 입력에 넣으면, 잘려 나가는 것 없이 이어집니다. 어소시에이트 수업 컨텍스트와 기억의 한계가 이 절차를 실습합니다.
- 반복되는 자료는 Projects나 시스템 프롬프트에. 매번 붙여 넣는 회사 규정은 한 번 등록해 두는 편이 관리하기 쉽습니다. API로 직접 만드는 경우에는 같은 앞부분에 프롬프트 캐싱(prompt caching)을 지정해 두면 그 부분의 비용이 줄어듭니다. 대화형 제품에서는 사용자가 지정하는 설정이 아닙니다.
- 도구 결과는 요약본이 아니라 원문을 남길지 판단합니다. 감사·디버깅처럼 단서가 구석에 있는 작업은 요약이 단서를 지웁니다. 이 함정은 컨텍스트 윈도우 관리와 요약의 함정에서 따로 다뤘습니다.
- 출력 길이를 지정합니다. "300자 이내로"는 품질 지시가 아니라 비용·지연 지시입니다.
시험과의 연결
이 개념은 네 자격증 전부에서 나옵니다. 어소시에이트(CCAO-F)는 도메인 3 "제품과 모델 선택"에서 컨텍스트 한계와 새 대화 시작 시점을 묻고, 아키텍트(CCAR-F)는 도메인 5 "컨텍스트 관리"에서 컴팩션 설계를 묻습니다. 개발자(CCDV-F)는 도메인 5 "모델 선택과 최적화"에서 토큰 비용 관리를, 아키텍트 프로페셔널(CCAR-P)은 도메인 2(모델·프롬프팅·컨텍스트 엔지니어링)에서 같은 개념을 설계 수준에서 묻습니다.
응시 안내: Claude 자격증은 Claude Partner Network 소속 조직의 회사 이메일로만 등록할 수 있고, 개인 이메일로는 응시할 수 없습니다. 자격증보다 도메인 학습 자체에 무게를 두시고, 응시 조건은 자격증 가이드에서 확인하시기 바랍니다.
이어서 읽기
- 앞 편: LLM은 다음 토큰을 예측할 뿐이다
- 다음 편: 환각은 버그가 아니라 생성 원리의 그림자다
- 아키텍트 수업: 컨텍스트 윈도우 관리