VIDEO NOTE

빅테크 자체 AI 칩 개발과 엔비디아의 생태계 방어 전략

안될공학 - IT 테크 신기술 · 15분 · 중급 · 26. 09. 30. · 최신 뉴스 › 뉴스 발표

구글, 메타, 아마존, 오픈AI 등 빅테크 기업은 서비스 운영 비용 절감과 반복 연산 최적화를 위해 자체 AI 가속기를 개발하고 있다. 이에 맞서 엔비디아는 높은 범용성과 소프트웨어 지원력을 유지하면서 NVLink Fusion과 NVHBM 같은 연결 기술로 타사 칩까지 자사 인프라에 묶는 전략을 취한다. AI 반도체 시장은 단일 칩의 연산 성능 비교를 넘어 학습과 추론, 통신 네트워크와 메모리를 포괄하는 거대 시스템 단위의 분업 체계로 바뀌고 있다.

핵심

구글은 8세대 TPU를 대규모 학습용 TPU 8t와 대용량 SRAM 및 통신 장치(CAE)를 갖춘 추론용 TPU 8i로 분리해 설계했다.
엔비디아 GPU는 Tensor Core와 정밀도를 유연하게 조절하는 Transformer Engine을 통해 연구 단계의 새로운 모델 구조에 가장 빠르게 대응한다.
에이전트 서비스처럼 한 번의 사용자 요청에 모델을 반복 실행해야 하는 환경에서는 단일 추론 비용을 낮추는 전용 칩 수요가 급증한다.
하드웨어뿐만 아니라 구글 XLA처럼 여러 연산을 하나로 묶는 컴파일러와 소프트웨어 계층이 갖춰져야 실무 배포가 가능하다.
엔비디아는 고객사가 자체 XPU를 만들더라도 통신에는 NVLink Switch를, 메모리 제어에는 NVHBM을 사용하게 만드는 방향으로 생태계를 방어하고 있다.

RAISE LAB 에서 배우는 사람에게

에이전트 워크플로가 복잡해질수록 API 추론 비용과 지연 시간이 핵심 과제가 되므로, 빅테크가 추론 전용 하드웨어 인프라를 어떤 방향으로 재편하는지 파악하는 데 유용하다.

챕터

트렌드