맥북 로컬 AI Laya로 구현하는 CS 문의 라우팅과 성능 검증

핵심

• AI 서비스 파이프라인 앞단에 라우터를 배치하면 고성능 LLM 호출 비용과 지연 시간을 크게 줄일 수 있다.
• Laya 기본 모델의 한국어 CS 분류 정답률은 32.8%였으나, 100건 학습 후 68.8%, 1,000건 학습 후 86.4%로 올랐다.
• 학습 데이터 1,000건 처리에는 48분이 소요되었고, 1만 건 학습에는 7시간 52분이 걸렸다.
• 1만 건 학습 후 검증 문항 600개 기준 정답률은 99.7%, 별도 최종 시험에서는 89%를 기록했다.
• 250개 시험 문항에서 상용 모델 Jev는 100% 정답률을 기록해 범용 제로샷 분류에서 여전히 앞섰다.
• 응답 지연 시간은 Vercel AI Gateway를 거친 Jev가 중앙값 0.5초인 반면, 맥북 로컬 구동 Laya는 0.11초에 불과했다.

챕터

1. 0:00오픈소스 모델 Laya 소개와 실험 개요 (새 탭에서 열림)
2. 0:55LLM 파이프라인에서 라우팅이 필요한 이유 (새 탭에서 열림)
3. 2:12CS 문의 6개 카테고리 분류 설계 (새 탭에서 열림)
4. 4:17베이스라인 측정과 100·300·1,000건 학습 결과 (새 탭에서 열림)
5. 6:44Laya 1,000건과 상용 모델 Jev 성능 비교 (새 탭에서 열림)
6. 7:261만 건 대규모 학습과 600문항 검증 결과 (새 탭에서 열림)
7. 9:02오답 분석과 CS 도메인 데이터 보강 전략 (새 탭에서 열림)
8. 10:27로컬 구동 Laya와 클라우드 Jev의 속도 및 비용 비교 (새 탭에서 열림)