Mixtral 8x7B Inference 및 Mixture of Experts 벤치마크에서 초당 12만9000개 토큰 생성

 

슈퍼마이크로가 자사의 NVIDIA HGX B200 8-GPU 시스템으로 글로벌 MLPerf Inference v5.0 벤치마크에서 업계 최고 수준의 AI 추론 성능을 달성하며 AI 컴퓨팅 시장 내 기술력을 입증했다. 

 

슈퍼마이크로 총판사인 디에스앤지는 해당 결과를 발표하며, 슈퍼마이크로가 공랭식과 수랭식 시스템 모두에서 기록적인 성능을 선보인 유일한 시스템 벤더라고 밝혔다. 슈퍼마이크로가 기록한 성과는 Mixtral 8x7B Inference 및 Mixture of Experts 벤치마크에서 초당 12만9000개 토큰을 생성한 것이다. 이 성능은 SYS-421GE-NBRT-LCC와 SYS-A21GE-NBRT 모델(각각 8개의 NVIDIA B200-SXM-180GB 탑재)을 기반으로 구현됐다.

 

 

특히 Llama2-70B 및 최신 Llama3.1-405B 모델 추론에서는 이전 세대 시스템 대비 최대 3배에 달하는 처리 속도 향상을 보였고, 대형 모델 추론 기준으로도 초당 1000개 이상의 토큰을 생성하는 등 압도적인 처리량을 기록했다.

 

슈퍼마이크로의 기술력이 주목받는 이유는 단순히 성능 수치만이 아니다. 공랭식 10U와 수랭식 4U 시스템 모두에서 최고 성능을 안정적으로 구현하며 냉각 방식과 무관한 시스템 효율성을 입증했다. 특히 새로운 냉각판과 250kW 급 냉각수 분배 장치를 포함한 수랭식 기술은 동일한 4U 폼팩터에서 냉각 용량을 기존 대비 두 배 이상 향상시키며, 고성능 GPU의 열을 효과적으로 제어한다는 점에서 의미가 크다.

 

MLPerf 벤치마크를 운영하는 비영리 기구인 ML커먼스의 기준에 따라, 슈퍼마이크로는 벤치마크 결과의 재현 가능성과 제품 상용성을 모두 충족하며 기술 신뢰성을 입증했다. 이는 MLPerf 결과의 검증과 감사를 모두 통과한 결과이기도 하다.

 

국내에서는 디에스앤지를 통해 B200 시스템 도입을 검토 중인 고객사들을 대상으로 온프레미스 환경에서의 기술 검증(PoC)을 진행 중이다. 이번 PoC는 실제 운영 환경을 고려해 비용 대비 성능, 시스템 안정성, 장비 운용 효율 등을 전반적으로 점검하는 절차로, 도입을 고민하는 기업들에게 실질적인 의사결정 근거를 제공할 것으로 기대된다.

 

서영민 디에스앤지 전무는 “디에스앤지는 슈퍼마이크로 국내 총판으로서 고객들이 새로운 고성능 시스템을 원활하게 도입하고 최대의 성능을 발휘하도록 기술지원과 현장 적용을 전방위적으로 뒷받침할 것”이라고 밝혔다. 

 

슈퍼마이크로의 이번 MLPerf 성능 기록은 AI 인프라 시장에서의 기술 리더십을 다시 한 번 입증하는 계기가 됐다. 특히 대형 LLM 추론 환경이 고도화하는 가운데, 고효율 냉각 기술과 최적화한 시스템 설계를 동시에 갖춘 솔루션으로 주목받고 있다.

 

헬로티 서재창 기자 |