VIDEO NOTE
강화학습만으로 추론 능력을 끌어올린 DeepSeek-R1 논문 해설
AI Papers Academy · 9분 9초 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 논문
DeepSeek 연구진이 발표한 오픈소스 추론 모델 DeepSeek-R1과 DeepSeek-R1-Zero의 훈련 파이프라인을 분석한다. 지도학습(SFT) 없이 규칙 기반 강화학습(GRPO)만으로 모델이 스스로 사고 시간을 늘리고 검산하는 과정을 설명한다. 나아가 가독성과 언어 혼용 문제를 해결하기 위해 콜드 스타트와 4단계 학습 과정을 거쳐 최종 모델을 구축하고 소형 모델로 증류한 방법론을 다룬다.
핵심
- DeepSeek-R1-Zero는 지도학습 단계를 생략하고 DeepSeek-V3-Base 모델에 규칙 기반 강화학습(GRPO)만 적용해 훈련했다.
- 정답 검증이 가능한 수학 및 코드 문제에는 정확도 보상을, 사고 과정과 최종 답변 분리에는 태그 형식 보상을 부여해 별도의 신경망 보상 모델 없이 훈련 비용을 낮췄다.
- 강화학습 과정에서 모델의 사고 토큰 수가 자연스럽게 증가했으며, 풀이 도중 오류를 깨닫고 스스로 재평가하는 '아하 모먼트(Aha Moment)'가 발현했다.
- R1-Zero의 가독성 저하와 언어 혼용 문제를 해결하고자 소규모 고품질 데이터로 콜드 스타트 SFT를 거친 뒤 4단계에 걸쳐 DeepSeek-R1을 완성했다.
- 완성된 R1 파이프라인의 데이터를 증류하여 32B 등 오픈소스 소형 모델에서도 강력한 추론 성능을 확보했다.
RAISE LAB 에서 배우는 사람에게
복잡한 사람 피드백(RLHF) 없이도 검증 가능한 규칙 기반 보상만으로 LLM의 심층 추론 능력을 유도할 수 있음을 보여 주며, 에이전트의 자기 검증 설계에 중요한 단서를 제공한다.
챕터
- 0:00도입 및 OpenAI o1과 오픈소스 추론 모델 (새 탭에서 열림)
- 0:52기존 LLM 학습 파이프라인 요약 (새 탭에서 열림)
- 2:20DeepSeek-R1-Zero와 지도학습 생략 (새 탭에서 열림)
- 2:53GRPO 기반 규칙 강화학습과 보상 설계 (새 탭에서 열림)
- 4:41R1-Zero 성능, 사고 시간 증가, 아하 모먼트 (새 탭에서 열림)
- 6:09R1-Zero의 한계와 DeepSeek-R1의 필요성 (새 탭에서 열림)
- 6:53DeepSeek-R1의 4단계 학습 과정과 지식 증류 (새 탭에서 열림)
- 8:48벤치마크 결과 및 최종 요약 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. AI Papers Academy 원작자 채널 (새 탭에서 열림)