VIDEO NOTE

LLM 작동 원리와 프롬프트·RAG·파인튜닝 선택 기준

양실장의 바이브코딩대학 · 1시간 35분 · 초급 · 26. 10. 21. · AI 초보 탈출 › LLM 원리 이해

LLM의 기본 개념부터 코퍼스 수집, 토큰화, 사전학습 및 사후학습에 이르는 전체 학습 흐름을 해설한다. 트랜스포머 구조 안에서 어텐션 연산, 소프트맥스 확률 변환, 샘플링 파라미터와 KV 캐싱이 맞물려 다음 토큰을 추론하는 원리를 상세히 다룬다. 나아가 실제 비즈니스 문제를 해결할 때 프롬프트 작성, RAG, 파인튜닝 중 무엇을 채택해야 하는지 비용과 목적 관점에서 명확한 기준을 제시한다.

핵심

LLM 학습은 인터넷의 방대한 코퍼스를 토큰화한 후 다음 토큰 맞히기 반복과 역전파로 파라미터 가중치를 조정하는 사전학습에서 시작한다.
사전학습으로 완성된 베이스 모델에 목적과 형식(TPO)에 맞춘 응답을 유도하기 위해 파인튜닝과 강화학습 등 사후학습을 거친다.
추론 과정에서는 입력 토큰 시퀀스 간 관계를 어텐션 메커니즘으로 측정하고, 여러 레이어를 거쳐 로짓을 산출한다.
산출된 로짓을 소프트맥스 함수로 확률화한 뒤 Temperature, Top K, Top P 설정에 따라 다음 토큰을 샘플링한다.
이전 토큰 연산 결과를 재활용하는 KV 캐싱이 작동하기 때문에 긴 문장 생성에서도 속도를 유지할 수 있다.
파인튜닝은 반복적인 특정 출력 형식이나 특화 태스크를 모델에 내재화해 프롬프트 길이를 줄이고 호출 비용을 최적화할 때 유용하다.
RAG는 모델 가중치를 수정하지 않고 사내 문서나 최신 규정 같은 외부 데이터를 검색해 프롬프트 문맥으로 주입하는 기법이다.

RAISE LAB 에서 배우는 사람에게

LLM의 학습과 토큰 추론 메커니즘을 명확히 이해해야 프롬프트 설계, RAG, 파인튜닝 중 실무 과제에 가장 비용 효율적인 해법을 판단할 수 있다.

챕터

LLM 원리 이해