에이디링크 테크놀로지가 새로운 ‘DLAP Supreme’ 엣지 생성 AI 플랫폼 시리즈를 21일 발표했다.
이 시리즈는 Phison의 aiDAPTIV+ AI 솔루션을 통합해 엣지 생성 AI 애플리케이션에서의 메모리 제한 문제를 극복하고 엣지 디바이스의 AI 컴퓨팅 성능을 향상시켰다. 고가의 하드웨어 비용을 상승시키지 않으면서도 AI 성능 개선을 실현했으며 이를 통해 기업들이 AI 배포의 비용 장벽을 낮추고 특히 엣지 컴퓨팅을 중심으로 다양한 산업에서 생성 AI 채택을 가속화할 수 있도록 지원한다.
생성 AI가 다양한 산업에 확산됨에 따라 많은 엣지 디바이스는 대형 언어 모델을 실행할 때 DRAM 용량 부족으로 성능 병목 현상을 겪고 있으며, 이는 모델 운영에 영향을 미치고 토큰 길이 부족과 같은 문제를 일으키기도 한다.
aiDAPTIV+ 기술을 활용한 DLAP Supreme 시리즈는 이러한 제한을 효과적으로 극복하고 컴퓨팅 성능을 높인다고 에이디링크는 강조했다. 또한 엣지 디바이스가 생성 언어 모델 훈련을 수행할 수 있도록 AI 모델 훈련 기능을 제공하고 자율 학습 및 적응 능력을 향상시킨다.
예를 들어 NVIDIA Jetson AGX Orin 32GB 구성과 Gemma 27B 모델을 함께 사용한 DLAP-411 Orin Supreme을 활용하면 추론 TTFT가 8배 향상되고 토큰 길이가 4배 증가한다. 일반적으로 H100/A100 80G 텐서 코어 GPU가 필요한 모델 훈련 작업을 실행할 수 있어 생성 AI 모델 운영 성능을 향상시키면서 생성 AI 애플리케이션의 배포 비용을 절감할 수 있다고 회사는 설명했다.
Ethan Chen 에이디링크 엣지 컴퓨팅 플랫폼 비즈니스 유닛 총괄 관리자는 “우리는 DLAP Supreme 시리즈를 통해 더 많은 기업과 조직이 생성 AI 기술을 쉽게 도입하면서 성능을 향상시키고 비용을 절감할 수 있도록 돕는 것을 목표로 한다”며 “또한 Phison 및 글로벌 AI 파트너들과 긴밀히 협력해 공동 AI 애플리케이션 생태계를 구축하고 생성 AI 기술의 확산을 촉진할 것”이라고 말했다.
에이디링크는 DLAP Supreme 시리즈의 애플리케이션 범위를 더욱 확장하고 다양한 AI 컴퓨팅 요구를 충족시키기 위해 Orin Nano Super와 NX Super 버전을 지속적으로 출시할 계획이다.
헬로티 이창현 기자 |
