슈퍼마이크로컴퓨터가 엔비디아 블랙웰 울트라 솔루션을 탑재한 새로운 서버 및 랙 제품군을 공개했다. 슈퍼마이크로의 새로운 AI 제품군은 엔비디아 HGX B300 NVL16와 GB300 NVL72 플랫폼을 탑재해 AI 추론, 에이전틱 AI, 비디오 추론 등 고성능 연산 AI 워크로드에서 획기적인 성능을 제공한다. 찰스 리앙 슈퍼마이크로 사장 겸 CEO는 “슈퍼마이크로는 엔비디아와 오랜 파트너십을 지속하며 엔비디아 블랙웰 울트라 플랫폼을 기반으로 한 최신 AI 기술을 공개하게 돼 기쁘다”며 “당사의 데이터센터 빌딩 블록 솔루션을 활용해 엔비디아 HGX B300 NVL16 GB300 NVL72의 열 관리 및 내부 토폴로지(topology)에 최적화된 새로운 공냉식 및 수냉식 냉각 시스템을 구현했다”고 설명했다. 이어서 그는 “특히 당사의 최첨단 수냉식 솔루션은 최신 CDU 기술을 사용해 8노드 랙 구성에서 40℃, 또는 16 노드 랙 구성에서는 35℃의 온수를 활용해 열 효율성이 우수하다”며 “이 혁신적인 솔루션은 수자원을 절약하면서 전력 소비도 최대 40%까지 줄여 엔터프라이즈 데이터센터의 환경적 및 운영적 측면에서 상당한 이점을 제공한다”고 말했다. 엔비디아 블
지코어가 급증하는 AI 추론 워크로드와 고객의 다양한 요구를 수용하기 위해 AI 추론 솔루션인 ‘에브리웨어 인퍼런스(Everywhere Inference, 기존 인퍼런스 앳더 엣지)’의 주요 업데이트를 21일 발표했다. 이번 업데이트는 ▲유연한 배포 옵션 지원 ▲스마트 라우팅 ▲멀티테넌시 기능 등을 새롭게 추가해 비용 관리에서부터 데이터 보안까지 효율성을 높인 것이 특징이다. 먼저 이번 업데이트를 통해 지코어는 클라우드, 온프레미스, 하이브리드 환경 등을 포함한 다양한 배포 옵션을 지원함으로써 추론 배포의 유연성을 높이고 AI 애플리케이션을 위한 초저지연 환경을 제공한다. 이는 기업이 AI 추론 배포를 위해 다양한 클라우드 제공업체 및 온프레미스 시스템을 조율하는 복잡성을 해결하는데 도움을 준다. 또한 ‘스마트 라우팅’ 기능을 새롭게 추가해 추론 워크로드를 180개가 넘는 광범위한 지코어 네트워크 중 최종 사용자와 가장 가까운 컴퓨팅 리소스로 자동 배치함으로써 초저지연을 보장하면서 배포 효율성을 높였다. 여기에 스마트 라우팅 기능을 통해 고객은 선호하는 지역으로 워크로드를 전환할 수 있어 데이터규제 및 업계 표준을 준수하면서 데이터 보안 수준까지 강화할 수
윈드리버는 클라우드-엣지 구축의 고유한 요구사항을 충족하는 커머셜 엔터프라이즈 리눅스 제품인 엘렉사 프로(eLxr Pro)를 출시했다고 25일 밝혔다. 엘렉사 프로는 최근 출시된 오픈소스 eLxr 프로젝트 배포판에 대한 장기적인 커머셜 지원 및 서비스를 제공한다. 고성능 엣지 및 엔터프라이즈 요구사항을 충족해야 하는 조직은 엘렉사 프로를 통해 자율주행차, 국방, 항공, 에너지, 금융, 의료, 산업 자동화, 스마트 시티, 통신 등 다양한 신규 사용 사례에 대한 차세대 상용 배포의 엄격한 성능 및 운영 요구사항을 충족할 수 있다. 원격 자동 업데이트, 컨테이너화된 애플리케이션 및 오케스트레이션, AI 추론, 머신 러닝, 자율 운영과 관련된 워크로드를 위해 데이터가 생성되는 곳과 더 가까운 위치에서 처리할 수 있도록 근거리 및 원거리 엣지 애플리케이션의 구축 및 최적화를 지원한다. 엘렉사 프로는 오픈 소스 데비안(Debian) 기반 eLxr 프로젝트를 근간으로 하는 제품으로 지능형 엣지, 원거리 엣지 디바이스, 근거리 엣지 서버, 리전 데이터 센터 및 퍼블릭 클라우드 시나리오를 모두 지원하는 엔터프라이즈급 배포판이다. 아비짓 신하 윈드리버 사장은 “시장에서는 특정
지코어(Gcore)는 AI 애플리케이션에 초저지연 경험을 실시간 제공하는 ‘인퍼런스 앳더 엣지(Inference at the Edge)’ 솔루션을 출시한다고 10일 밝혔다. 이 솔루션은 사전 학습된 머신 러닝 모델을 전 세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 함으로써 원활한 실시간 추론을 보장한다. 인퍼런스 앳더 엣지는 180개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며 모두 지코어의 지연 스마트 라우팅 기술로 상호 연결된다. 고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다. 무엇보다 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 업계 내 최고의 칩인 엔비디아(NVIDIA) L40S GPU에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 짧은 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30밀리초(ms, 1000분의 1초) 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps로 최고 수준의 학습 및 추론 능력이 가능하다. 또한 인퍼런스 앳더 엣지는 광범위한 기본 머신
클라우드플레어(Cloudflare)가 마이크로소프트와 협력을 통해 기업이 AI를 더 쉽게 실행할 수 있도록 지원한다고 5일 밝혔다. AI 추론 작업이 점점 더 분산되고 있는 가운데 클라우드플레어는 이번 협력을 통해 기업들이 디바이스, 네트워크 엣지, 클라우드 환경을 아우르는 컴퓨팅 연속체 전반에 걸쳐 AI 모델을 원활하게 배포해 중앙 집중식 및 분산 컴퓨팅 모델의 이점을 극대화할 수 있도록 지원한다. 또한 양사는 오닉스 런타임(ONNX Runtime)을 활용함으로써 초대형 클라우드에서 초분산 네트워크 엣지, 장치 자체에 이르기까지 이 세 단계 아키텍처 중 처리가 가장 적합한 곳에서 AI 모델을 실행해 특정 애플리케이션이나 서비스의 대역폭, 지연 시간, 커넥티비티, 처리, 배터리/에너지, 데이터 주권 및 현지화 요구 사항을 가장 잘 해결할 수 있도록 보장한다는 계획이다. AI 모델 학습을 위해서는 서로 근접해 있는 컴퓨팅 및 스토리지 리소스가 요구된다. 따라서 중앙 집중식 클라우드 플랫폼은 모델 학습에 필요한 집중적인 계산을 위한 최적의 환경을 제공한다. 트레이닝은 계속 중앙 집중화되는 반면, 추론 작업은 더 분산된 위치, 특히 디바이스 자체와 엣지 네트워크에