VIDEO NOTE
저용량 GPU에서 180B 대형 모델을 돌리는 Strata 서빙 엔진 벤치마크
소울시커 Soul Seeker · 1시간 1분 · 중급 · 26. 10. 09. · 분야별 AX 사례 › 에이전트·하네스
YouTube 에서 보기 · 소울시커 Soul Seeker (새 탭에서 열림)시스템 DRAM에 대형 MoE 모델 가중치를 압축 보관하고 필요한 전문가 레이어만 GPU VRAM으로 불러와 연산하는 Strata 서빙 엔진의 구동 원리와 설치 과정을 다룬다. RTX 3060부터 RTX 5090 듀얼까지 총 9종 그래픽카드 환경에서 Qwen 3.8 Flash Next 기반 양자화 모델 4종을 전수 측정했다. VRAM 용량이 부족해도 시스템 DRAM과 GPU 코어 연산력, MTP(다중 토큰 예측) 최적화를 갖추면 실사용 가능한 토큰 생성 속도를 낼 수 있음을 입증한다.
핵심
- Strata는 180B급 MoE 모델을 시스템 DRAM에 보관하고, 활성화된 약 10개 전문가 레이어만 VRAM 캐시로 넘겨 CUDA 가속으로 연산한다.
- Opencode 데스크톱 앱과 무료 Muse Spark 1.3 모델을 활용해 복잡한 Strata 깃허브 클론 및 종속성 세팅을 자동화했다.
- 64GB DRAM에서는 고품질 양자화 모델(IQ3_S) 구동 시 메모리 부족 오류가 발생해 192GB DDR5(48GB 4개 풀뱅크)로 증설했다.
- Coder 모델은 시스템 DRAM 점유율이 약 26GB에 불과해 32GB RAM 환경에서도 RTX 3060 12GB로 구동할 수 있다.
- RTX 3060 12GB에서도 MTP 적용 시 초당 48토큰, RTX 3080 Ti 12GB에서는 초당 70토큰 이상의 디코딩 속도를 기록했다.
- RTX 5070 Ti와 5080은 코어 연산력이 높아 MTP 활성화 시 대역폭이 더 넓은 3090을 넘어서는 속도를 보였다.
- RTX 5090 단일 장착 시 초당 196토큰, 듀얼 장착 후 레이어 균등 분할 및 파이프라이닝 옵션을 적용했을 때는 초당 270~290토큰에 달했다.
RAISE LAB 에서 배우는 사람에게
고가의 대용량 VRAM GPU 없이도 적절한 시스템 DRAM 확충과 MoE 특화 서빙 엔진으로 고성능 로컬 에이전트 구동 환경을 구축할 수 있음을 보여 준다.
챕터
- 0:00Strata 서빙 엔진 소개 (새 탭에서 열림)
- 2:59Strata 구동 원리와 메모리 오프로딩 (새 탭에서 열림)
- 8:49Opencode 기반 자동 설치 (새 탭에서 열림)
- 18:1264GB DRAM 한계와 Coder 구동 (새 탭에서 열림)
- 27:46192GB DDR5 증설 및 벤치마크 구성 (새 탭에서 열림)
- 31:01IQ2_XS 모델 9종 GPU 벤치마크 (새 탭에서 열림)
- 39:32IQ3_XXS 및 IQ3_S 모델 성능 비교 (새 탭에서 열림)
- 44:01Coder 모델 성능과 DRAM 요구량 분석 (새 탭에서 열림)
- 55:12Strata 세부 설정 및 외부 에이전트 연동 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 소울시커 Soul Seeker 원작자 채널 (새 탭에서 열림)