본문으로 건너뛰기
R
AI
SE LAB
RAISE LAB
R
AI
SE LAB
RAISE LAB
스터디
AI 스터디 신청과 학습 자료
특강 & 강의
강남 오프라인 기수제 AI 과정 — 일정·참가비·모집
AX 상담
개인 1:1 멘토링과 기업 AX(진단·교육·구축)
검색어를 입력하세요
스터디
특강 & 강의
AX 상담
About
홈
맴버쉽 이용
AI 학습창고
AI 스터디
스터디 신청
스터디 후기
맴버쉽 이용
발표 녹화본
AI 학습 창고
기초 다지기
분야별 영상
Skills
모션 프롬프트
HTML 디자이너
About
홈
공지
장소 안내
RAISE LAB 소개
AI 분야별 영상
트렌드
AI성능분석
지식관리
업무 자동화
영상·이미지
서비스 제작
에이전트·하네스
품질관리
데이터 분석
조직 운영
로컬 AI 구축
투자
논문
수준
전체
입문
초급
중급
고급
Nginx 라운드로빈과 llama-server 다중 인스턴스로 로컬 LLM 처리량 극대화하기
Ollama 및 단일 llama.cpp 인스턴스 환경에서 발생하는 동시 요청 처리의 한계를 극복하는 방법을 다룬다. Nginx 라운드로빈 프록시 뒤에 다중 llama-server 인스턴스를 띄우는 오픈소스 도구 llama-throughput-lab을 활용해 처리량을 벤치마크하고 최적화한다. Mac Studio 등 대용량 메모리 환경에서 인스턴스 수, 병렬 파라미터, 동시성을 조율해 초당 1,200토큰 이상의 처리량을 달성하는 과정을 보여준다.
Alex Ziskind · 11분 · 고급 · 26. 11. 18.
애플 실리콘에서 MLX로 거대 언어 모델 실행하고 파인튜닝하기
애플 실리콘 통합 메모리와 Metal 가속을 활용하는 오픈소스 머신러닝 라이브러리 MLX와 MLX-LM을 소개한다. 터미널 명령어와 파이썬 또는 Swift 코드로 거대 언어 모델을 로컬에서 구동하고 4비트 양자화 및 LoRA 파인튜닝까지 수행하는 방법을 단계별로 설명한다. 512GB 메모리의 M3 Ultra 환경에서 6700억 개 매개변수를 가진 DeepSeek-V3 4비트 모델을 구동하는 시연도 포함되어 있다.
Apple Developer · 20분 · 고급 · 26. 11. 18.
로컬 LLM 구동을 위한 llama.cpp와 vLLM의 구조 비교와 선택 기준
비용 절감과 데이터 보안을 위해 로컬 환경에서 대규모 언어 모델을 구동하는 수요가 늘고 있다. 개인 PC나 엣지 기기에서는 양자화와 GGUF 포맷을 지원하는 llama.cpp가 적합하며, 다중 사용자를 처리하는 프로덕션 환경에서는 연속 배칭과 PagedAttention을 제공하는 vLLM이 유리하다. 두 프레임워크 모두 OpenAI 호환 API 엔드포인트를 지원하므로 기존 에이전트 코드의 큰 변경 없이 연동할 수 있다.
IBM Technology · 10분 · 고급 · 26. 11. 18.
Ollama와 LangChain으로 구현하는 로컬 RAG 에이전트 구축 가이드
외부 API나 유료 계정 없이 로컬 하드웨어에서 동작하는 검색 증강 생성(RAG) 에이전트를 파이썬으로 구현한다. Ollama로 오픈소스 언어 모델과 임베딩 모델을 실행하고 ChromaDB를 벡터 데이터베이스로 사용한다. CSV 문서에 담긴 매장 리뷰 데이터를 벡터화한 뒤 질문과 가장 관련성 높은 문맥을 찾아 답변하는 전체 과정을 다룬다.
Tech With Tim · 28분 · 중급 · 26. 11. 18.
RAG 핵심 개념과 검색 최적화 기법 총정리
임베딩, 청킹, 벡터 데이터베이스부터 하이브리드 서치와 리랭커까지 RAG 파이프라인의 전 과정을 설명한다. Anthropic의 Contextual Retrieval과 Late Chunking 같은 기법으로 문맥 유실 문제를 해결하는 방안을 다룬다. 코딩 에이전트의 직접 탐색과 비정형 문서 기반 RAG의 차이를 비교하며 엔터프라이즈 환경에서 RAG가 여전히 필요한 이유를 밝힌다.
샘 호트만 : AI 엔지니어의 시선 · 24분 · 중급 · 26. 11. 18.
Open WebUI 지식 베이스 구축과 RAG 문서 설정 가이드
Open WebUI의 지식 베이스(Knowledge Base) 기능과 관리자 패널의 문서 설정을 활용해 RAG 환경을 구성하는 방법을 다룬다. 채용 후보자 이력서 풀을 구축해 채용 공고에 맞는 지원자를 검색하는 예시로 기본 동작을 시연한다. 임베딩 모델의 원리와 교체 방법, 탑K와 청크 크기 같은 파라미터 조정, 하이브리드 검색과 리랭킹 모델 적용법까지 단계별로 설명한다.
Professor Patterns · 12분 · 중급 · 26. 11. 18.
기기 사양별 로컬 AI 활용 범위와 하드웨어 선택 기준
휴대폰부터 고사양 워크스테이션까지 기기별 메모리와 GPU 성능에 따라 구동할 수 있는 로컬 AI 작업의 한계를 비교 분석한다. 8GB M1 맥북 실측을 바탕으로 받아쓰기, 음성 합성, 텍스트 요약, 이미지 생성 성능을 검증하고 장단점을 짚는다. 하드웨어 비용과 전기세, 보안 위험을 고려해 일상적인 반복 작업은 로컬로 처리하고 고난도 작업은 상용 구독 서비스를 병행하는 전략을 제시한다.
혼잡스 · 9분 5초 · 초급 · 26. 11. 18.
Ollama로 인터넷 없이 내 컴퓨터에서 무료 로컬 AI 실행하기
구독료 부담과 데이터 유출 우려 없이 개인 PC에서 직접 오픈소스 AI 모델을 실행하는 방법을 소개한다. 공식 웹사이트에서 Ollama를 설치하고 그래픽카드 사양에 맞는 모델을 내려받아 오프라인 환경에서 테스트하는 과정을 단계별로 다룬다. 모델 크기와 VRAM 용량의 관계, 양자화 개념, 부팅 시 자동 실행 해제 방법도 함께 설명한다.
코드작업실 ⚒️ Code Workshop · 7분 11초 · 초급 · 26. 11. 18.
Ollama와 Open WebUI로 구축하는 무료 로컬 LLM 환경
구독료 부담과 보안 우려 없이 개인 PC에서 AI 모델을 직접 구동하는 로컬 LLM 환경 구축법을 안내한다. GPU 메모리(VRAM) 8GB 이상 환경에서 Ollama를 설치하고 용도에 맞는 경량 모델을 내려받은 뒤 Open WebUI로 연동하는 과정을 설명한다. 데이터 유출 걱정 없이 회의록 요약, 메일 초안 작성, 기밀 문서 번역에 활용하는 방안과 주요 오류 해결법을 다룬다.
혼자 굴리는 AI · 8분 13초 · 초급 · 26. 11. 18.
홈
스터디
학습 창고
자리 배치
마이
AI 스터디
스터디 신청
스터디 후기
맴버쉽 이용
발표 녹화본
AI 학습 창고
기초 다지기
분야별 영상
Skills
모션 프롬프트
HTML 디자이너
About
홈
공지
장소 안내
RAISE LAB 소개