트랜스포머 논문 'Attention Is All You Need' 핵심 구조와 수식 원리

핵심

• GPU 8대로 3.5일간 학습된 트랜스포머 논문은 2000년 이후 발표된 전 세계 논문 중 피인용 수 7위를 기록했다.
• 순차적으로 히든 스테이트를 넘기던 RNN을 제거해 시퀀스 연산 수와 토큰 간 경로 길이를 모두 O(1)로 단축했다.
• 쿼리와 키 내적 값을 차원 수의 제곱근으로 나누는 스케일링은 소프트맥스 포화에 따른 그래디언트 소실을 방지한다.
• 512차원을 64차원 8개 헤드로 나누는 멀티헤드 어텐션은 추가 연산 비용 없이 여러 관계 패턴을 동시에 학습한다.
• 토큰 순서 정보가 사라지는 문제를 해결하기 위해 주기가 다른 삼각함수 기반 포지셔널 인코딩을 단어 벡터에 더했다.
• 모든 토큰 간 관계를 계산하므로 문장 길이에 따라 연산량이 n의 제곱으로 증가하는 복잡도 한계를 지닌다.

챕터

1. 0:00논문 개요와 인용 영향력 (새 탭에서 열림)
2. 1:50기존 RNN 구조와 GPU 병렬화 한계 (새 탭에서 열림)
3. 2:48RNN 제거와 어텐션 단독 사용 (새 탭에서 열림)
4. 4:02쿼리·키·값과 어텐션 계산 과정 (새 탭에서 열림)
5. 5:08루트 dk 스케일링이 필요한 이유 (새 탭에서 열림)
6. 5:58멀티헤드 어텐션의 분할 연산 (새 탭에서 열림)
7. 7:08포지셔널 인코딩과 단어 순서 보정 (새 탭에서 열림)
8. 7:57인코더·디코더 아키텍처와 번역 성능 (새 탭에서 열림)
9. 8:36n제곱 복잡도 한계와 현대 LLM 발전 (새 탭에서 열림)