본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

Ollama로 인터넷 없이 내 컴퓨터에서 무료 로컬 AI 실행하기

코드작업실 ⚒️ Code Workshop · 7분 11초 · 초급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축

YouTube 에서 보기 · 코드작업실 ⚒️ Code Workshop (새 탭에서 열림)

구독료 부담과 데이터 유출 우려 없이 개인 PC에서 직접 오픈소스 AI 모델을 실행하는 방법을 소개한다. 공식 웹사이트에서 Ollama를 설치하고 그래픽카드 사양에 맞는 모델을 내려받아 오프라인 환경에서 테스트하는 과정을 단계별로 다룬다. 모델 크기와 VRAM 용량의 관계, 양자화 개념, 부팅 시 자동 실행 해제 방법도 함께 설명한다.

핵심

  • Ollama를 설치하면 터미널이나 복잡한 설정 없이 클릭 몇 번으로 로컬 LLM을 실행할 수 있다.
  • 인터넷 연결을 끊은 오프라인 상태에서도 모델이 로컬 GPU 연산으로 빠르게 답변을 생성한다.
  • 모델 선택 시 그래픽카드의 VRAM 용량이 중요하며, 대략 VRAM의 절반 크기에 해당하는 파라미터(예: 16GB VRAM 기준 8B 모델)가 안정적이다.
  • 양자화 기법을 적용해 가중치 정밀도를 낮추면 동일한 하드웨어에서도 더 큰 모델(16B, 32B 등)을 구동할 수 있다.
  • 기본 설정으로 부팅 시 자동 실행되는 Ollama는 Windows 설정의 '시작 프로그램' 메뉴에서 비활성화할 수 있다.

RAISE LAB 에서 배우는 사람에게

사내 보안 규정이나 민감한 데이터 유출 우려로 클라우드 API를 쓰기 어려울 때 로컬 에이전트 구동 환경을 구축하는 첫걸음으로 유용하다.

챕터

  1. 0:00클라우드 AI의 비용과 데이터 보안 이슈 (새 탭에서 열림)
  2. 0:35Ollama 다운로드 및 윈도우 설치 (새 탭에서 열림)
  3. 1:15모델 선택과 VRAM·양자화 원리 (새 탭에서 열림)
  4. 3:42Qwen3 모델 다운로드와 오프라인 프롬프트 테스트 (새 탭에서 열림)
  5. 5:31윈도우 시작 프로그램 자동 실행 끄기 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 코드작업실 ⚒️ Code Workshop 원작자 채널 (새 탭에서 열림)

로컬 AI 구축