본문으로 건너뛰기
RAISE LABRAISE LAB

VIDEO NOTE

애플 실리콘에서 MLX로 거대 언어 모델 실행하고 파인튜닝하기

Apple Developer · 20분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 로컬 AI 구축

YouTube 에서 보기 · Apple Developer (새 탭에서 열림)

애플 실리콘 통합 메모리와 Metal 가속을 활용하는 오픈소스 머신러닝 라이브러리 MLX와 MLX-LM을 소개한다. 터미널 명령어와 파이썬 또는 Swift 코드로 거대 언어 모델을 로컬에서 구동하고 4비트 양자화 및 LoRA 파인튜닝까지 수행하는 방법을 단계별로 설명한다. 512GB 메모리의 M3 Ultra 환경에서 6700억 개 매개변수를 가진 DeepSeek-V3 4비트 모델을 구동하는 시연도 포함되어 있다.

핵심

  • MLX는 CPU와 GPU가 통합 메모리를 공유하여 대용량 모델을 효율적으로 처리할 수 있는 애플 실리콘 전용 오픈소스 라이브러리다.
  • 통합 메모리 512GB를 탑재한 M3 Ultra Mac Studio에서 670B 크기의 DeepSeek-V3 4비트 모델(약 380GB 메모리 소요)을 터미널 명령어로 로컬 구동했다.
  • mlx-lm 패키지를 쓰면 Hugging Face에서 모델을 내려받아 CLI와 Python API로 텍스트 생성과 구조 확인이 가능하다.
  • KV 캐시(make_prompt_cache)를 사용해 이전 대화 맥락을 보존하며 멀티턴 대화를 빠르게 생성할 수 있다.
  • mlx_lm.convert 명령어로 16비트 모델을 4비트 등으로 양자화할 수 있으며 계층별 혼합 정밀도 양자화도 지원한다.
  • mlx_lm.lora 명령어로 양자화된 모델 위에 LoRA 어댑터를 학습시키고 mlx_lm.fuse로 기본 모델에 병합할 수 있다.
  • MLXSwift를 활용하면 약 28줄의 Swift 코드만으로 앱 내부에서 네이티브 LLM 추론 환경을 구축할 수 있다.

RAISE LAB 에서 배우는 사람에게

클라우드 API 비용이나 데이터 유출 걱정 없이 고사양 Mac 하드웨어를 직접 활용해 로컬 AI 에이전트 환경과 커스텀 모델을 구축하려는 개발자에게 필수적인 도구다.

챕터

  1. 0:00MLX 소개 및 애플 실리콘 특징 (새 탭에서 열림)
  2. 1:07M3 Ultra에서 DeepSeek-V3 670B 로컬 구동 시연 (새 탭에서 열림)
  3. 2:11MLX-LM 개요 (새 탭에서 열림)
  4. 3:51터미널과 파이썬 코드로 텍스트 생성하기 (새 탭에서 열림)
  5. 6:24모델 내부 구조와 파라미터 점검 (새 탭에서 열림)
  6. 7:14KV 캐시를 활용한 멀티턴 대화 처리 (새 탭에서 열림)
  7. 8:42모델 양자화 및 혼합 정밀도 설정 (새 탭에서 열림)
  8. 11:39LoRA 파인튜닝과 어댑터 병합 (새 탭에서 열림)
  9. 17:02Swift 환경에서 MLX로 LLM 추론 구현 (새 탭에서 열림)
  10. 18:39MLX 오픈소스 생태계와 다음 단계 (새 탭에서 열림)

이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. Apple Developer 원작자 채널 (새 탭에서 열림)

로컬 AI 구축