본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

Ollama와 LangChain으로 구현하는 로컬 RAG 에이전트 구축 가이드

Tech With Tim · 28분 · 중급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축

YouTube 에서 보기 · Tech With Tim (새 탭에서 열림)

외부 API나 유료 계정 없이 로컬 하드웨어에서 동작하는 검색 증강 생성(RAG) 에이전트를 파이썬으로 구현한다. Ollama로 오픈소스 언어 모델과 임베딩 모델을 실행하고 ChromaDB를 벡터 데이터베이스로 사용한다. CSV 문서에 담긴 매장 리뷰 데이터를 벡터화한 뒤 질문과 가장 관련성 높은 문맥을 찾아 답변하는 전체 과정을 다룬다.

핵심

  • OpenAI나 Claude 계정 없이 Ollama를 사용해 사용자 PC 하드웨어에서 로컬 LLM을 무료로 실행한다.
  • 언어 모델로 llama3.2를, 문서 임베딩 모델로 mxbai-embed-large를 Ollama CLI로 내려받는다.
  • LangChain 프레임워크의 OllamaLLM과 ChatPromptTemplate을 연결해 질의응답 체인을 구성한다.
  • pandas로 피자 매장 리뷰 CSV 파일을 읽어 들인 뒤 LangChain Document 객체로 변환한다.
  • ChromaDB로 로컬 벡터 스토어를 생성하고 유사도 기준 상위 5개(k=5) 리뷰를 검색해 프롬프트 컨텍스트에 주입한다.

RAISE LAB 에서 배우는 사람에게

사내 보안 규정이나 비용 문제로 외부 API를 쓸 수 없는 환경에서 오픈소스 모델과 벡터 DB 기반의 RAG 파이프라인을 프로토타이핑할 때 참고하기 좋다.

챕터

  1. 0:00프로젝트 개요 및 동작 데모 (새 탭에서 열림)
  2. 2:02가상환경 설정 및 의존 패키지 설치 (새 탭에서 열림)
  3. 4:33Ollama 설치와 로컬 LLM 및 임베딩 모델 다운로드 (새 탭에서 열림)
  4. 7:03코드 작성 준비 및 GitHub Copilot 소개 (새 탭에서 열림)
  5. 8:23LangChain을 활용한 Ollama 기본 호출 체인 구현 (새 탭에서 열림)
  6. 14:52ChromaDB를 이용한 CSV 리뷰 데이터 벡터화 및 저장 (새 탭에서 열림)
  7. 25:01리트리버 연동 및 로컬 RAG 질의응답 루프 실행 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Tech With Tim 원작자 채널 (새 탭에서 열림)

로컬 AI 구축