추론 모델과 확장 사고 — 생각을 더 시키면 무엇이 달라지나
최근 모델들은 "생각하는 시간"을 조절할 수 있습니다. 확장 사고(extended thinking)를 켜면 모델이 최종 답변 전에 긴 풀이 과정을 먼저 생성하고, 그 뒤에 답을 씁니다. 이 기능은 마법이 아니라 생성 원리의 자연스러운 활용입니다. 원리를 알면 "켜면 좋아지는 작업"과 "켜 봐야 비용만 드는 작업"을 가를 수 있습니다.
왜 풀이를 쓰면 정확해지는가
모델은 토큰을 하나씩 생성하고, 매 토큰은 앞에 나온 모든 토큰을 참조합니다. 여기서 중요한 성질이 나옵니다. 모델이 한 번에 처리할 수 있는 계산의 깊이는 토큰 하나를 만드는 데 드는 계산량으로 정해져 있습니다. 복잡한 문제를 답 한 줄로 바로 내라고 하면 그 깊이를 넘어서는 추론을 한 번에 압축해야 합니다.
풀이를 먼저 쓰게 하면 상황이 바뀝니다. 중간 결론이 토큰으로 출력되고, 다음 토큰은 그 중간 결론을 참조할 수 있습니다. 계산을 여러 단계에 나눠 싣는 것입니다. 사람이 암산 대신 종이에 풀면 더 어려운 문제를 풀 수 있는 것과 같은 구조입니다. 이 방식을 사고 사슬(chain of thought)이라고 부르고, 확장 사고는 이것을 모델이 스스로, 더 길게, 필요하면 되돌아가며 수행하도록 훈련한 형태입니다.
좋아지는 작업과 그렇지 않은 작업
좋아지는 작업 — 중간 단계가 여럿이고 각 단계가 앞 단계에 의존하는 일.
- 여러 조건이 얽힌 판단(계약 조항 충돌 검토, 요구사항 간 모순 찾기)
- 여러 수를 거치는 계획 수립(마이그레이션 순서, 일정 역산)
- 코드 디버깅처럼 가설을 세우고 검증하는 일
- 수학·논리 문제
달라지지 않거나 나빠지는 작업 — 답이 한 번에 나오는 일.
- 분류, 태깅, 감정 판별
- 형식 변환, 번역, 요약
- 사실 조회("이 문서에서 담당자 이름을 찾아라")
- 정해진 틀로 초안 쓰기
두 번째 묶음에 확장 사고를 켜면 답은 같은데 토큰과 시간만 늘어납니다. 시험에서는 이 구분을 "작업 성격에 따른 모델·설정 선택" 문항으로 묻습니다. 어소시에이트 수업 모델 유형 구분하기가 "판단 개수 세기"로 이 기준을 연습합니다.
비용과 지연
확장 사고의 풀이 과정도 출력 토큰입니다. 요금이 붙고 시간이 걸립니다. 그래서 다음 세 가지를 같이 정합니다.
- 사고 강도(effort): 최신 모델은 문제에 맞춰 사고량을 스스로 정하는 적응형 사고(adaptive thinking)를 쓰고, 사용자는 강도(effort)를 단계로 고릅니다. 사고에 쓸 토큰 상한을 직접 정하던 방식은 최신 모델에서 사라졌습니다. 강도를 낮추면 비용이 줄지만 어려운 문제에서는 풀이가 얕아져 틀립니다.
- 모델 등급과의 조합: 작은 모델에 긴 사고를 시키는 것과 큰 모델에 짧은 사고를 시키는 것은 비용이 비슷할 수 있습니다. 같은 작업으로 둘 다 재 보고 정합니다.
- 대화형 제품에서의 체감: 사용자가 기다리는 화면에서는 몇 초의 사고도 이탈을 만듭니다. 배치 작업에서는 문제가 되지 않습니다.
풀이 과정을 읽을 때 주의할 것
화면에 보이는 풀이는 모델 내부 사고의 원문이 아니라 요약본이고, 최신 모델은 기본 설정에서 그마저 보여 주지 않습니다. 보인다 해도 그것을 모델의 "진짜 생각"이라고 단정하면 안 됩니다. 풀이 역시 생성된 텍스트입니다. 풀이는 그럴듯한데 결론이 틀리는 경우, 풀이와 결론이 서로 맞지 않는 경우가 있습니다. 풀이는 디버깅 단서로 쓰되, 검증은 결과물 자체에 대해 합니다. 환각 편의 검증 습관이 여기에도 그대로 적용됩니다.
응시 안내: Claude 자격증은 Claude Partner Network 소속 조직의 회사 이메일로만 등록할 수 있고, 개인 이메일로는 응시할 수 없습니다. 자격증보다 도메인 학습 자체에 무게를 두시고, 응시 조건은 자격증 가이드에서 확인하시기 바랍니다.
이어서 읽기
- 앞 편: 학습·프롬프트·RAG·파인튜닝
- 다음 편: 챗봇·어시스턴트·에이전트
- 개발자 수업: 모델 선택과 트레이드오프, 비용과 토큰 관리