VIDEO NOTE
RAG 핵심 개념과 검색 최적화 기법 총정리
샘 호트만 : AI 엔지니어의 시선 · 24분 · 중급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축
임베딩, 청킹, 벡터 데이터베이스부터 하이브리드 서치와 리랭커까지 RAG 파이프라인의 전 과정을 설명한다. Anthropic의 Contextual Retrieval과 Late Chunking 같은 기법으로 문맥 유실 문제를 해결하는 방안을 다룬다. 코딩 에이전트의 직접 탐색과 비정형 문서 기반 RAG의 차이를 비교하며 엔터프라이즈 환경에서 RAG가 여전히 필요한 이유를 밝힌다.
핵심
- RAG는 LLM에 오픈북 시험을 치르게 하듯 외부 문서를 검색해 답변 정확도를 보강하는 파이프라인이다.
- 실무 RAG가 실패하는 주원인은 생성 모델의 한계가 아니라 불량 청크로 인한 검색 단계의 품질 저하다.
- 의미를 찾는 Dense 임베딩과 전문 용어 매칭에 강한 Sparse 임베딩을 결합한 하이브리드 서치로 검색 정확도를 높인다.
- 리랭커는 검색 후보군을 정밀하게 재평가하지만 지연 시간이 늘어나므로 서비스 환경에 맞춰 가중치와 적용 여부를 조율해야 한다.
- Contextual Retrieval은 청킹 전 LLM으로 문서 전체 맥락을 청크 앞에 덧붙여 검색 실패율을 크게 줄인다.
- Late Chunking은 문서 전체를 먼저 임베딩한 뒤 청크로 분할해 문맥 단절 문제를 구조적으로 방지한다.
- 코드 탐색에는 grep 기반의 에이전틱 서치가 유리하지만, 사내 위키나 계약서 같은 비정형 텍스트 처리에는 여전히 RAG가 핵심 인프라다.
RAISE LAB 에서 배우는 사람에게
클로드 에이전트에 방대한 사내 문서를 연결할 때 필수적인 검색 파이프라인 설계 기준과 Contextual Retrieval 같은 최적화 기법을 체계적으로 파악할 수 있다.
챕터
- 0:00RAG의 필요성과 현주소 (새 탭에서 열림)
- 2:16RAG 기본 동작 원리와 구조 (새 탭에서 열림)
- 3:35임베딩과 벡터 공간의 원리 (새 탭에서 열림)
- 6:09청킹 전략과 문서 파서 (새 탭에서 열림)
- 8:16일반 DB와 벡터 DB의 차이 (새 탭에서 열림)
- 9:24실무 실패 원인과 청크 디버깅 (새 탭에서 열림)
- 10:36Dense, Sparse 임베딩과 하이브리드 서치 (새 탭에서 열림)
- 13:09리랭커 원리와 성능 트레이드오프 (새 탭에서 열림)
- 15:09맥락 단절을 해결하는 Contextual Retrieval (새 탭에서 열림)
- 17:31전체 문맥을 보존하는 Late Chunking (새 탭에서 열림)
- 19:37에이전틱 서치와 비정형 문서 RAG 비교 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 샘 호트만 : AI 엔지니어의 시선 원작자 채널 (새 탭에서 열림)