본문으로 건너뛰기
RAISE LAB

AI 기초 다지기

트랜스포머 논문 'Attention Is All You Need' 핵심 구조와 수식 원리2017년 구글이 발표한 트랜스포머 논문 'Attention Is All You Need'의 배경과 핵심 메커니즘을 상세히 분석한다. 기존 RNN이 지닌 순차 연산의 병목을 없애고 셀프 어텐션만으로 GPU 병렬 처리 효율을 극대화한 구조를 설명한다. 쿼리·키·값 내적, 스케일링 나눗셈, 멀티헤드 어텐션, 포지셔널 인코딩의 수학적 이유와 한계를 차례로 짚는다.CODER X DOX 코더엑스독스 · 10분 · 중급 · 26. 10. 13.
로컬 LLM 지연 시간의 원리와 하드웨어 병목 분석영상은 로컬 모델 구동 시 첫 응답까지 걸리는 대기 시간이 줄어드는 하드웨어 원리를 분석한다. 입력 문맥을 처리하는 프리필 단계는 연산 속도에, 토큰을 순차 생성하는 디코드 단계는 메모리 대역폭에 좌우된다. 고가 장비로 업그레이드하기 전 프롬프트 캐싱을 지원하는 소프트웨어 최적화와 실제 절감 시간을 먼저 검증할 것을 권한다.The Stack · 11분 · 중급 · 26. 10. 06.
Mac Studio M5 Ultra와 DGX Spark 2대의 로컬 LLM 추론 성능 비교256GB 통합 메모리를 갖춘 Apple Mac Studio와 2대의 NVIDIA DGX Spark(총 256GB)를 연결한 클러스터에서 DeepSeek V4 Flash와 Qwen3.8 모델의 로컬 추론 성능을 비교했다. 프롬프트를 읽는 프리필 단계에서는 GPU 연산 성능이 뛰어난 DGX Spark가 2배 이상 빨랐으나, 토큰을 생성하는 디코드 단계에서는 높은 메모리 대역폭을 갖춘 Mac Studio가 대등하거나 앞섰다. 다중 사용자와 긴 컨텍스트 환경에서는 DGX Spark가 우세하지만, 단일 사용자의 KV 캐시 기반 작업에서는 Mac Studio도 충분한 실용성을 보였다.Alex Ziskind · 20분 · 중급 · 26. 10. 03.
클라우드 AI 한계와 로컬 LLM 개념 및 구동 환경 정리ChatGPT나 Gemini 같은 클라우드 AI 서비스가 안고 있는 비용, 보안, 내부 데이터 분석의 한계를 짚고 대안인 로컬 LLM의 개념을 설명한다. Ollama와 Lemonade 같은 실행 도구로 Gemma 모델을 PC에 올려 직접 구동하는 시연을 보여준다. 로컬 환경 구축 시 그래픽카드의 VRAM 용량이 16GB 이상 확보되어야 원활하게 구동할 수 있음을 강조한다.허수아비(scarecrow) · 15분 · 초급 · 26. 10. 02.
퍼셉트론부터 AI 에이전트까지 70년 인공지능 발전사 정리퍼셉트론에서 시작해 최신 추론 모델과 에이전트까지 이어진 인공지능 70년의 흐름을 데이터, 연산, 아이디어라는 세 바퀴의 관점으로 설명한다. 두 차례의 인공지능 겨울 속에서도 역전파, 합성곱 신경망, LSTM, 트랜스포머 등 핵심 아키텍처가 축적되며 도약의 발판을 마련했다. 스케일링 법칙과 사람 피드백 강화학습을 거쳐 ChatGPT와 생각하는 모델로 진화한 과정을 인물과 역사적 사건 중심으로 조망한다.메이커 에반 | Maker Evan · 1시간 2분 · 초급 · 26. 09. 30.