VIDEO NOTE

AI 추론 모델의 원리와 추론 수준 조절의 필요성

한입AI사전 · 5분 5초 · 초급 · 26. 10. 21. · AI 초보 탈출 › LLM 원리 이해

AI 입력창의 추론 수준(Reasoning Effort)을 높이면 답변 전 내부 풀이 과정을 작성하는 시간이 늘어나 복잡한 연산과 문제 해결 정답률이 상승한다. 언어 모델은 확률에 따라 다음 단어를 생성하므로 중간 풀이를 적어 두어야 최종 정답 토큰의 확률이 높아지는 구조다. 과거에는 프롬프트 문구로 유도하던 추론 과정을 현재는 o1이나 DeepSeek-R1처럼 강화학습 기반 추론 모델이 직접 수행하므로 작업 복잡도에 따라 추론 강도를 조절해야 한다.

핵심

추론 수준을 높이면 AI가 답변을 출력하기 전에 내부 풀이(생각)를 작성하는 시간이 길어진다.
다음 단어를 확률로 선택하는 LLM 특성상 중간 풀이가 먼저 적혀야 오답 확률이 줄어든다.
2021년 구글의 중간 계산(Scratchpad) 연구와 2022년 Chain-of-Thought(CoT) 프롬프팅이 추론 기술의 기초가 되었다.
2024년 OpenAI o1과 2025년 DeepSeek-R1은 프롬프트 주문 없이 순수 강화학습으로 스스로 풀이를 적도록 훈련되었다.
단순한 질문은 즉시(Instant) 모드로 처리하고 다단계 연산이나 복잡한 질문에만 추론 수준을 높이는 것이 적절하다.

RAISE LAB 에서 배우는 사람에게

에이전트 구현 시 프롬프트로 생각을 지시하기보다 작업 난이도에 맞춰 추론 강도(Effort) 파라미터를 동적으로 제어해야 성능과 비용을 최적화할 수 있다.

챕터

LLM 원리 이해