본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

LLM-as-a-judge의 평가 방식과 편향 다루기

IBM Technology · 6분 9초 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 품질관리

YouTube 에서 보기 · IBM Technology (새 탭에서 열림)

AI 생성 텍스트가 방대해지면서 사람이 직접 검수하거나 전통적인 지표만으로 품질을 가려내기 어려워졌다. 이를 해결하는 대안으로 LLM이 다른 LLM의 출력을 평가하는 'LLM-as-a-judge' 기법이 주목받는다. 직접 평가와 쌍별 비교 두 가지 전략이 있으며, 대규모 처리와 유연한 기준 조정이 가능한 반면 위치·길이·자기 강화 편향을 주의 깊게 제어해야 한다.

핵심

  • LLM 평가 방식은 루브릭을 기준으로 점수를 매기는 직접 평가(Direct Assessment)와 두 출력을 견주는 쌍별 비교(Pairwise Comparison)로 나뉜다.
  • 오픈소스 프레임워크 Evalysis 연구에 따르면 참여자의 50%는 명확한 통제가 가능한 직접 평가를 선호했고, 25%는 주관적 작업에 적합한 쌍별 비교를 택했다.
  • BLEU나 ROUGE 같은 전통적 지표와 달리 참조 텍스트(Ground Truth)가 없어도 뉘앙스와 자연스러움을 평가할 수 있다.
  • LLM 평가자는 특정 위치의 선택지를 편애하는 위치 편향(Positional Bias)과 내용과 무관하게 긴 답변을 선호하는 장황함 편향(Verbosity Bias)을 보인다.
  • 자신이 생성한 텍스트에 더 높은 점수를 주는 자기 강화 편향(Self-enhancement Bias)도 존재한다.
  • 평가 대상의 위치를 서로 바꾸어 판정 변화를 확인하는 위치 교환(Positional Swaps) 등의 기법으로 편향을 완화할 수 있다.

RAISE LAB 에서 배우는 사람에게

에이전트 파이프라인 구축 시 자동 평가 단계에 LLM-as-a-judge를 도입할 때 발생할 수 있는 주요 편향과 검증 루브릭 설계 기준을 점검하는 데 유용하다.

챕터

  1. 0:00LLM-as-a-judge 개념 소개 (새 탭에서 열림)
  2. 0:42평가 전략: 직접 평가와 쌍별 비교 (새 탭에서 열림)
  3. 1:59Evalysis 연구로 본 사용자 선호 방식 (새 탭에서 열림)
  4. 2:35LLM 판사의 장점: 확장성·유연성·뉘앙스 (새 탭에서 열림)
  5. 3:51LLM 판사의 세 가지 편향과 완화 기법 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. IBM Technology 원작자 채널 (새 탭에서 열림)

품질관리