본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

Docling과 LanceDB로 오픈소스 문서 추출·RAG 파이프라인 만들기

Dave Ebbelaar · 25분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 데이터 분석

YouTube 에서 보기 · Dave Ebbelaar (새 탭에서 열림)

IBM의 오픈소스 문서 처리 도구인 Docling과 로컬 벡터 데이터베이스 LanceDB를 연동해 RAG 시스템을 구축하는 방법을 다룬다. PDF 문서와 웹사이트, 사이트맵을 마크다운 형태의 구조화된 데이터로 변환하고 하이브리드 청킹을 적용하는 과정을 코드로 보여준다. 추출한 데이터를 임베딩해 LanceDB에 저장한 뒤 Streamlit 웹 인터페이스에서 출처 인용과 함께 질의응답을 구현한다.

핵심

  • IBM이 공개한 오픈소스 라이브러리 Docling은 복잡한 표와 제목 구조를 유지하며 PDF와 웹페이지를 마크다운이나 JSON으로 변환한다.
  • 웹사이트의 sitemap.xml을 파싱해 사이트 전체 문서를 일괄 수집하고 단일 데이터 객체로 변환할 수 있다.
  • Docling의 HybridChunker는 문서의 계층 구조를 보존하면서 임베딩 모델의 최대 토큰 한도에 맞춰 청크를 자동으로 분할하거나 병합한다.
  • LanceDB는 로컬 파일 시스템 기반으로 동작하며 Pydantic 스키마 정의를 통해 임베딩 모델(text-embedding-3-large) 연동을 테이블 레벨에서 처리한다.
  • Streamlit의 채팅 컴포넌트를 활용해 검색된 청크의 파일명과 페이지 번호를 인용 출처로 함께 보여주는 문서 Q&A 앱을 구현한다.

RAISE LAB 에서 배우는 사람에게

상용 SaaS에 의존하지 않고 문서의 복잡한 표와 구조를 온전히 보존하며 에이전트용 로컬 지식 기반을 구축하려는 사람에게 유용하다.

챕터

  1. 0:00AI 에이전트를 위한 지식 추출 파이프라인 개요 (새 탭에서 열림)
  2. 2:34Docling을 이용한 PDF 파싱 및 마크다운 변환 (새 탭에서 열림)
  3. 6:13단일 웹페이지 및 사이트맵 기반 다중 페이지 추출 (새 탭에서 열림)
  4. 9:39HybridChunker를 활용한 계층적 청킹 (새 탭에서 열림)
  5. 14:20LanceDB 벡터 데이터베이스 설정 및 임베딩 저장 (새 탭에서 열림)
  6. 20:32벡터 유사도 기반 문서 검색 테스트 (새 탭에서 열림)
  7. 22:23Streamlit 기반 문서 Q&A 챗봇 구현 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Dave Ebbelaar 원작자 채널 (새 탭에서 열림)

데이터 분석