본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

Ollama와 Open WebUI로 구축하는 무료 로컬 LLM 환경

혼자 굴리는 AI · 8분 13초 · 초급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축

YouTube 에서 보기 · 혼자 굴리는 AI (새 탭에서 열림)

구독료 부담과 보안 우려 없이 개인 PC에서 AI 모델을 직접 구동하는 로컬 LLM 환경 구축법을 안내한다. GPU 메모리(VRAM) 8GB 이상 환경에서 Ollama를 설치하고 용도에 맞는 경량 모델을 내려받은 뒤 Open WebUI로 연동하는 과정을 설명한다. 데이터 유출 걱정 없이 회의록 요약, 메일 초안 작성, 기밀 문서 번역에 활용하는 방안과 주요 오류 해결법을 다룬다.

핵심

  • GPU 메모리가 8GB 이상이면 Qwen 3.5 9B나 한국어에 맞춘 EXAONE 3.5 7.8B 같은 경량 모델을 구동할 수 있다.
  • Ollama를 설치한 뒤 터미널에서 명령어 한 줄로 모델을 내려받아 로컬 환경을 구성한다.
  • 모델 용량 때문에 C드라이브 용량이 부족해지면 환경 변수 OLLAMA_MODELS를 추가해 저장 경로를 D드라이브로 바꾼다.
  • Open WebUI를 설치할 때 파이썬 버전은 3.13 대신 3.11 또는 3.12를 써야 오류를 피할 수 있다.
  • 자주 쓰는 Ollama 명령어는 목록 확인(ollama list), 모델 실행(ollama run), 모델 삭제(ollama rm)다.
  • 로컬 LLM은 인터넷 연결 없이 작동하므로 사내 기밀 문서나 계약서 번역처럼 외부 전송이 금지된 작업에 적합하다.
  • 구독형 상용 모델보다 성능은 떨어지므로 일상적인 문서 요약·초안은 로컬로 처리하고 고난도 작업만 유료 서비스를 쓴다.

RAISE LAB 에서 배우는 사람에게

사내 보안 규정으로 외부 AI 서비스를 쓰지 못할 때 안전하게 도입할 수 있는 로컬 에이전트 인프라의 기본기를 익힐 수 있다.

챕터

  1. 0:00AI 구독료 현황과 로컬 LLM의 장점 (새 탭에서 열림)
  2. 1:35PC 사양과 VRAM 확인법 (새 탭에서 열림)
  3. 2:10Ollama 설치와 모델 선택 (새 탭에서 열림)
  4. 3:06설치 과정 오류 대처법과 저장 경로 변경 (새 탭에서 열림)
  5. 3:23Open WebUI 연동과 화면 구성 (새 탭에서 열림)
  6. 3:46필수 Ollama 명령어 4개 (새 탭에서 열림)
  7. 4:55회의록·메일·계약서 번역 실무 활용 (새 탭에서 열림)
  8. 5:49속도 체감과 전기요금 (새 탭에서 열림)
  9. 6:29자주 막히는 문제와 질의응답 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 혼자 굴리는 AI 원작자 채널 (새 탭에서 열림)

로컬 AI 구축