허깅페이스 플랫폼에서 엔비디아 슈퍼컴퓨팅으로 고급 AI 모델 훈련 및 조정

 

엔비디아가 허깅페이스와 협력한다고 발표했다. 이 협력을 통해 대규모 언어 모델(LLM)과 기타 고급 AI 애플리케이션을 구축하는 수백만 명의 개발자가 생성형 AI 슈퍼컴퓨팅을 손쉽게 사용할 예정이다. 

 

개발자는 허깅페이스 플랫폼에서 엔비디아 DGX 클라우드 AI 슈퍼컴퓨팅을 통해 고급 AI 모델을 훈련하고 조정한다. 이로써 지능형 챗봇, 검색과 요약 등 산업별 애플리케이션을 위해 비즈니스 데이터로 맞춤화한 LLM을 사용해 업계의 생성형 AI 도입을 가속화한다. 

 

 

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 "연구자와 개발자는 모든 산업을 변화시키는 생성형 AI의 핵심이다. 엔비디아와 허깅페이스는 세계 최대 규모의 AI 커뮤니티를 세계 최고의 클라우드에 있는 엔비디아의 AI 컴퓨팅 플랫폼과 연결하고 있다. 이제 허깅페이스 커뮤니티는 한 번의 클릭으로 엔비디아 AI 컴퓨팅을 이용할 수 있다"고 말했다.

 

이번 협력의 일환으로 허깅페이스는 새로운 서비스인 ‘서비스형 트레이닝 클러스터’를 제공할 예정이다. 이 서비스는 엔비디아 DGX 클라우드를 기반으로 하며, 기업이 새로운 맞춤형 생성형 AI 모델을 손쉽게 구축하도록 지원한다. 이는 향후 몇 달 내에 출시될 예정이다. 

 

허깅페이스 공동 창립자 겸 CEO인 클레망 드랑주(Clément Delangue)는 "전 세계 사람들이 생성형 AI 툴을 통해 새로운 연결과 발견을 하지만, 이러한 기술 변화의 초기 단계에 불과하다. 이번 협력은 허깅페이스에 엔비디아의 최첨단 AI 슈퍼컴퓨팅을 제공함으로써 기업이 오픈 소스를 통해 AI의 운명을 스스로 결정하고, 미래에 기여하는 데 필요한 속도를 확보할 것"이라고 말했다.

 

개발자는 허깅페이스 플랫폼을 통해 오픈소스 리소스를 사용해 최첨단 AI 모델을 구축 및 훈련, 배포할 수 있다. 1만5000개 이상의 조직에서 허깅페이스를 사용하며, 커뮤니티에서는 25만 개 이상의 모델과 5만 개 이상의 데이터 세트를 공유했다. 

 

이뿐 아니라 허깅페이스와 DGX 클라우드의 통합으로 엔비디아의 멀티노드 AI 슈퍼컴퓨팅 플랫폼에 원클릭으로 액세스할 수 있다. 허깅페이스 사용자는 DGX 클라우드를 통해 엔비디아 AI 슈퍼컴퓨팅에 연결할 수 있다.  

 

이를 통해 고유 데이터로 기초 모델을 빠르게 훈련하며 튜닝하는 데 필요한 소프트웨어와 인프라를 제공해 엔터프라이즈 LLM 개발을 혁신할 것으로 보인다. 더불어 기업은 DGX 클라우드 기반 서비스형 트레이닝 클러스터를 통해 허깅페이스를 위한 고유 데이터를 활용해 효율적인 모델을 빠른 시간 내에 생성한다.

 

DGX 클라우드 각 인스턴스에는 노드당 총 640GB의 GPU 메모리를 위한 8개의 엔비디아 H100 또는 A100 80GB 텐서 코어 GPU가 탑재돼 있다. 엔비디아 네트워킹은 상호 연결된 시스템 클러스터 전반에서 워크로드를 확장하도록 고성능, 저지연 패브릭을 제공해 고급 AI 워크로드의 성능 요구 사항을 충족한다. DGX 클라우드에는 고객이 모델을 최적화하고 개발 과제를 신속하게 해결하도록 엔비디아 전문가의 지원이 포함된다. 

 

헬로티 서재창 기자 |