VIDEO NOTE
Ollama와 Open WebUI로 구축하는 무료 로컬 LLM 환경
혼자 굴리는 AI · 8분 13초 · 초급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축
구독료 부담과 보안 우려 없이 개인 PC에서 AI 모델을 직접 구동하는 로컬 LLM 환경 구축법을 안내한다. GPU 메모리(VRAM) 8GB 이상 환경에서 Ollama를 설치하고 용도에 맞는 경량 모델을 내려받은 뒤 Open WebUI로 연동하는 과정을 설명한다. 데이터 유출 걱정 없이 회의록 요약, 메일 초안 작성, 기밀 문서 번역에 활용하는 방안과 주요 오류 해결법을 다룬다.
핵심
- GPU 메모리가 8GB 이상이면 Qwen 3.5 9B나 한국어에 맞춘 EXAONE 3.5 7.8B 같은 경량 모델을 구동할 수 있다.
- Ollama를 설치한 뒤 터미널에서 명령어 한 줄로 모델을 내려받아 로컬 환경을 구성한다.
- 모델 용량 때문에 C드라이브 용량이 부족해지면 환경 변수 OLLAMA_MODELS를 추가해 저장 경로를 D드라이브로 바꾼다.
- Open WebUI를 설치할 때 파이썬 버전은 3.13 대신 3.11 또는 3.12를 써야 오류를 피할 수 있다.
- 자주 쓰는 Ollama 명령어는 목록 확인(ollama list), 모델 실행(ollama run), 모델 삭제(ollama rm)다.
- 로컬 LLM은 인터넷 연결 없이 작동하므로 사내 기밀 문서나 계약서 번역처럼 외부 전송이 금지된 작업에 적합하다.
- 구독형 상용 모델보다 성능은 떨어지므로 일상적인 문서 요약·초안은 로컬로 처리하고 고난도 작업만 유료 서비스를 쓴다.
RAISE LAB 에서 배우는 사람에게
사내 보안 규정으로 외부 AI 서비스를 쓰지 못할 때 안전하게 도입할 수 있는 로컬 에이전트 인프라의 기본기를 익힐 수 있다.
챕터
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 혼자 굴리는 AI 원작자 채널 (새 탭에서 열림)