본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

DeepSeek R1 핵심 알고리즘 GRPO의 수학적 원리와 PPO 비교

Julia Turc · 23분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 논문

YouTube 에서 보기 · Julia Turc (새 탭에서 열림)

DeepSeek이 저비용으로 추론 모델 R1을 학습하는 데 사용한 GRPO(Group Relative Policy Optimization)의 원리를 다룬다. 기존 강화학습 알고리즘인 PPO와 비교하며, 별도의 가치 모델(Critic) 없이 그룹 샘플링 기반의 통계로 베이스라인을 대체해 연산 비용을 대폭 줄인 구조를 시각적으로 해설한다.

핵심

  • GRPO는 DeepSeek R1 학습의 핵심 강화학습 알고리즘이며 Qwen 등 다른 모델에서도 도입하고 있다.
  • 수학이나 코딩 같은 추론 문제는 규칙 기반 정답 판별이 가능해 검증 가능한 보상 기반 강화학습(RLVR)을 적용한다.
  • 기존 PPO는 베이스라인 추정을 위해 LLM 크기의 별도 가치 함수(Critic) 모델을 유지해야 해 메모리와 연산 부담이 컸다.
  • GRPO는 하나의 입력에 대해 4~8개의 출력을 그룹으로 샘플링한 뒤 이들의 평균과 표준편차로 어드밴티지를 정규화해 Critic을 완전히 없앴다.
  • DeepSeek 팀이 단계별 보상을 주는 프로세스 감독(Process Supervision)을 실험했으나 결과 보상 대비 성능 이점이 크지 않아 단순한 구조를 유지했다.
  • GRPO의 손실 함수는 PPO의 클리핑 기법에 기준 모델과의 KL 발산 페널티를 더해 안정적인 가중치 업데이트를 돕는다.

RAISE LAB 에서 배우는 사람에게

에이전트를 직접 파인튜닝하지 않는 한 당장 쓸 일은 없지만, 최신 추론 모델들이 어떤 원리로 저비용 고성능을 달성했는지 구조를 이해하는 데 유용하다.

챕터

  1. 0:00GRPO와 DeepSeek R1의 배경 (새 탭에서 열림)
  2. 0:53LLM 학습 파이프라인과 강화학습의 역할 (새 탭에서 열림)
  3. 3:04추론 파인튜닝과 검증 가능한 보상(RLVR) (새 탭에서 열림)
  4. 4:33강화학습의 기초 요소와 LLM 매핑 (새 탭에서 열림)
  5. 8:48정책 그래디언트(Policy Gradient)의 원리 (새 탭에서 열림)
  6. 12:55Actor-Critic 방식과 PPO의 한계 (새 탭에서 열림)
  7. 14:07GRPO의 핵심: Critic 제거와 그룹 상대 평가 (새 탭에서 열림)
  8. 15:47결과 감독과 과정 감독(Process Supervision) 비교 (새 탭에서 열림)
  9. 17:12PPO 손실 함수와 GRPO의 KL 발산 항 (새 탭에서 열림)
  10. 21:42한눈에 비교하는 PPO와 GRPO 파이프라인 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Julia Turc 원작자 채널 (새 탭에서 열림)

논문