VIDEO NOTE
Ollama와 LangChain으로 구현하는 로컬 RAG 에이전트 구축 가이드
Tech With Tim · 28분 · 중급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축
외부 API나 유료 계정 없이 로컬 하드웨어에서 동작하는 검색 증강 생성(RAG) 에이전트를 파이썬으로 구현한다. Ollama로 오픈소스 언어 모델과 임베딩 모델을 실행하고 ChromaDB를 벡터 데이터베이스로 사용한다. CSV 문서에 담긴 매장 리뷰 데이터를 벡터화한 뒤 질문과 가장 관련성 높은 문맥을 찾아 답변하는 전체 과정을 다룬다.
핵심
- OpenAI나 Claude 계정 없이 Ollama를 사용해 사용자 PC 하드웨어에서 로컬 LLM을 무료로 실행한다.
- 언어 모델로 llama3.2를, 문서 임베딩 모델로 mxbai-embed-large를 Ollama CLI로 내려받는다.
- LangChain 프레임워크의 OllamaLLM과 ChatPromptTemplate을 연결해 질의응답 체인을 구성한다.
- pandas로 피자 매장 리뷰 CSV 파일을 읽어 들인 뒤 LangChain Document 객체로 변환한다.
- ChromaDB로 로컬 벡터 스토어를 생성하고 유사도 기준 상위 5개(k=5) 리뷰를 검색해 프롬프트 컨텍스트에 주입한다.
RAISE LAB 에서 배우는 사람에게
사내 보안 규정이나 비용 문제로 외부 API를 쓸 수 없는 환경에서 오픈소스 모델과 벡터 DB 기반의 RAG 파이프라인을 프로토타이핑할 때 참고하기 좋다.
챕터
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Tech With Tim 원작자 채널 (새 탭에서 열림)