엔비디아가 미국 새너제이에서 GTC 2025(GPU Technology Conference 2025)를 열고 AI 추론을 위한 새로운 패러다임을 제시했다.
엔비디아는 GTC 2025에서 차세대 AI 가속화 솔루션 ‘블랙웰 울트라 AI 팩토리 플랫폼’과 오픈소스 AI 추론 소프트웨어 ‘다이나모(Dynamo)’를 공개했다. 이번 발표에는 AI 추론 및 컴퓨팅 성능의 한계를 극복하는 기술적 혁신이 포함됐다.
블랙웰 울트라는 엔비디아 블랙웰 AI 팩토리 플랫폼의 차세대 버전으로, AI 모델의 추론과 훈련을 더욱 정교하게 수행할 수 있도록 설계됐다. 특히 ‘테스트 타임 스케일링(Test-Time Scaling, TTS)’을 적용해 AI 추론의 정확도를 향상시키고, 복잡한 문제 해결 능력을 개선했다.
이 플랫폼은 최신 AI 칩인 ‘GB300 NVL72’를 기반으로 기존 GB200 NVL72 대비 1.5배 높은 AI 성능을 제공하며, 엔비디아 호퍼 아키텍처 대비 AI 팩토리의 수익 기회를 50배 증가시킬 것으로 기대된다. 이를 통해 에이전틱 AI, 물리 AI, 대규모 언어 모델(LLM) 등 다양한 AI 응용 분야에서 활용될 수 있다. 엔비디아 젠슨 황 CEO는 “AI는 추론과 에이전틱 AI의 발전으로 더욱 높은 컴퓨팅 성능을 요구하고 있다”며 “블랙웰 울트라는 사전 및 사후 훈련과 AI 추론을 효율적으로 수행하도록 설계됐다”고 설명했다.
엔비디아는 AI 모델의 추론 비용 절감과 성능 최적화를 위해 오픈소스 소프트웨어 ‘다이나모(Dynamo)’도 함께 발표했다. 다이나모는 대규모 AI 추론 요청을 효과적으로 관리하고, GPU 클러스터 전반에서 최적의 성능을 제공하는 것을 목표로 한다.
특히, 다이나모는 GPU 자원을 동적으로 관리할 수 있는 ‘스마트 라우팅’, 메모리 최적화를 지원하는 ‘메모리 매니저’, AI 모델의 처리량을 개선하는 ‘GPU 플래너’ 등의 기능을 갖추고 있다. 이를 통해 기업과 연구기관은 적은 비용으로 대규모 AI 모델을 운영할 수 있다.
엔비디아는 다이나모를 파이토치, 텐서RT-LLM 등 다양한 AI 프레임워크와 호환 가능하도록 설계했으며, 오픈소스 형태로 제공해 AI 스타트업 및 연구기관도 쉽게 활용할 수 있도록 했다. 젠슨 황 CEO는 “AI 모델이 정교해짐에 따라 효율적인 추론 시스템이 필수적이다”며 “다이나모는 AI 모델의 대규모 서빙을 최적화하고, 운영 비용을 줄이면서도 강력한 AI 추론 성능을 제공할 것”이라고 말했다.
이번 GTC 발표를 통해 엔비디아는 AI 인프라의 새로운 표준을 제시하며, 대형 AI 모델을 운영하는 기업들에게 비용 절감과 성능 최적화의 기회를 제공하고 있다. 블랙웰 울트라는 대규모 AI 추론 워크로드를 위한 최적의 플랫폼으로, 다이나모는 이를 효율적으로 운영하는 핵심 소프트웨어로 자리 잡을 전망이다.
헬로티 서재창 기자 |
