VIDEO NOTE
Nginx 라운드로빈과 llama-server 다중 인스턴스로 로컬 LLM 처리량 극대화하기
Alex Ziskind · 11분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축
Ollama 및 단일 llama.cpp 인스턴스 환경에서 발생하는 동시 요청 처리의 한계를 극복하는 방법을 다룬다. Nginx 라운드로빈 프록시 뒤에 다중 llama-server 인스턴스를 띄우는 오픈소스 도구 llama-throughput-lab을 활용해 처리량을 벤치마크하고 최적화한다. Mac Studio 등 대용량 메모리 환경에서 인스턴스 수, 병렬 파라미터, 동시성을 조율해 초당 1,200토큰 이상의 처리량을 달성하는 과정을 보여준다.
핵심
- 단일 Ollama 및 llama.cpp 실행 환경은 다중 에이전트나 동시 요청이 많을 때 병목이 발생해 처리량이 제한된다.
- Nginx를 리버스 프록시로 두고 여러 llama-server 인스턴스로 요청을 분산하는 라운드로빈 방식을 적용하면 처리량을 크게 끌어올릴 수 있다.
- 오픈소스 도구 llama-throughput-lab을 사용해 인스턴스 수, parallel 값, 동시성 조합 308가지를 자동으로 스윕 테스트할 수 있다.
- Mac Studio에서 llama-server 16개 인스턴스, parallel 64, 동시성 1,024 설정 시 초당 1,226토큰의 최대 처리량을 기록했다.
- 구축한 Nginx 라운드로빈 엔드포인트는 Open WebUI 같은 클라이언트와 연동해 여러 작업을 동시에 처리할 수 있다.
RAISE LAB 에서 배우는 사람에게
로컬 LLM 기반으로 멀티 에이전트 파이프라인이나 코딩 어시스턴트를 구축할 때 병렬 처리 병목을 해소하고 하드웨어 자원을 최대로 활용하는 실질적 아키텍처를 보여준다.
챕터
- 0:00Ollama와 llama.cpp의 단일 요청 한계 (새 탭에서 열림)
- 0:48원격 쿼리 및 동시성 증가 테스트 (새 탭에서 열림)
- 2:03llama-throughput-lab 벤치마크 도구 소개 (새 탭에서 열림)
- 3:32TryHackMe 스폰서 소개 (새 탭에서 열림)
- 5:08전체 스윕 테스트와 하드웨어 한계 요인 (새 탭에서 열림)
- 7:44벤치마크 결과 확인 및 1226토크/초 달성 (새 탭에서 열림)
- 8:17도구 실행 방법과 라운드로빈 서버 설정 (새 탭에서 열림)
- 9:56Open WebUI 연동 및 다중 동시 대화 시연 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Alex Ziskind 원작자 채널 (새 탭에서 열림)