LLM 컨텍스트 윈도우의 작동 원리와 한계

핵심

• 컨텍스트 윈도우는 LLM이 대화나 문맥 세부사항을 잊지 않고 유지할 수 있는 작업 메모리 역할을 한다.
• 텍스트는 글자나 단어 단위가 아닌 토크나이저가 변환한 토큰 단위로 처리되며 영어 기준 1단어는 약 1.5토큰이다.
• 트랜스포머 모델의 셀프 어텐션 메커니즘은 시퀀스 내 토큰 간의 관련성과 가중치를 계산해 문맥을 파악한다.
• 초기 LLM은 약 2,000토큰 수준이었으나 IBM Granite 3 모델은 128,000토큰 등 점차 대형화되고 있다.
• 토큰 수가 2배가 되면 필요한 계산량이 4배로 늘어나는 2차 함수적 연산 증가가 발생한다.
• 2023년 연구에 따르면 모델은 컨텍스트의 앞부분과 뒷부분 정보를 가장 잘 기억하며 중간 부분 정보는 성능 저하를 겪는다.
• 컨텍스트 길이가 길어질수록 악의적 프롬프트가 깊숙이 숨어들어 탈옥 공격에 취약해지는 보안 문제가 발생한다.

챕터

1. 0:00컨텍스트 윈도우의 기본 개념 (새 탭에서 열림)
2. 1:30컨텍스트 한계 초과 시 발생하는 현상 (새 탭에서 열림)
3. 2:49토큰과 토크나이제이션의 이해 (새 탭에서 열림)
4. 6:01셀프 어텐션과 컨텍스트 크기 증가 (새 탭에서 열림)
5. 7:30컨텍스트 윈도우를 채우는 구성 요소 (새 탭에서 열림)
6. 9:02긴 컨텍스트의 문제점: 계산 비용, 성능 저하, 보안 (새 탭에서 열림)