바스트 데이터 플랫폼, ‘AI 기반 발견’을 단일 플랫폼에서 구현하며 가속화

 

바스트 데이터가 8일 삼성동 그랜드인터컨티넨탈호텔 파르나스에서 기자간담회를 열고, 딥러닝 AI에 특화된 혁신적인 데이터 플랫폼인 ‘바스트 데이터 플랫폼’을 국내 시장에 선보이며 AI 시장 공략 전략을 발표했다. 

 

기자간담회를 위해 방한한 제프 덴워스(Jeff Denworth) 바스트 데이터 공동설립자는 "우리의 여정은 AI 발전과 발맞춰 기반 시스템이 모든 정보와 알고리즘을 취합하는 형태로 발전하고 있다. 차세대 AI 기반 발견(AI-driven discovery)으로 헬스케어, 농업, 에너지 등의 분야에서 가진 과제를 해결할 것으로 보인다"고 밝혔다. 

 

 

제프 덴워스 공동설립자는 "AI 파이프라인을 구현하는 과정은 복잡하다. 이 과정을 축약하는 기술을 데이터 플랫폼이라고 표현한다. 통합된 환경을 지원함으로써 기술을 따로 취급하거나 관리할 필요가 없기에 효율성을 가질 수 있다"고 말했다. 이어 그는 "기존 데이터 플랫폼은 딥러닝에 적합한 환경이 아니었다. 딥러닝 알고리즘을 처리하고 가치를 추출하는 데이터는 비정형 데이터가 압도적으로 많다. 비정형 데이터의 경우 데이터 수도 많아지고 프로세서도 달라진다"고 덧붙였다. 

 

이에 개발된 바스트 데이터 플랫폼은 AI의 초기 역량을 전 세계에 선보인 생성형 AI와 거대언어모델(LLM)을 뛰어넘어 데이터 수집, 정제, 학습 및 추론에 이르는 ‘AI 기반 발견(AI-Assisted Discovery)’을 단일 플랫폼에서 구현하며 가속화한다. 이 플랫폼은 전 세계에서 실시간으로 생성돼 처리되는 비디오, 이미지, 프리 텍스트, 데이터 스트림, 계측 데이터 등 정형 및 비정형 데이터의 전체 데이터 스펙트럼을 염두에 두고 설계됐다.

 

바스트 데이터 플랫폼은 이벤트 중심 아키텍처와 데이터 중심 아키텍처간 간극을 좁히기 위해 모든 프라이빗 또는 주요 퍼블릭 클라우드 데이터 센터 내 데이터에 대한 액세스와 처리를 담당한다. 이뿐 아니라 쿼리 가능한 시멘틱 계층의 데이터 내 탑재로 자연 데이터를 이해하며, 연속적·반복적 데이터 컴퓨팅의 실시간 실행으로 각 상호작용과 함께 발전한다. 

이번에 선보인 바스트 데이터 플랫폼은 VAST 데이터스토어, VAST 데이터베이스, VAST 데이터엔진, VAST 데이터스페이스 등 네 가지 요소로 구성돼 있다. VAST 데이터스토어는 자연 데이터를 캡처해 서비스하기 위해 바스트 데이터가 가장 먼저 설계한 플랫폼으로, 스토리지 계층화를 제거하는 비정형 데이터를 위한 확장가능한 스토리지 아키텍처다.

 

엔터프라이즈 파일 스토리지 및 오브젝트 스토리지 인터페이스를 제공하는 엔터프라이즈 네트워크를 연계하며, 빅데이터, HPC뿐 아니라 엔비디아 DGX SuperPOD 등 현재의 강력한 AI 슈퍼컴퓨터의 요구를 충족하도록 설계됐다. 

VAST 데이터베이스는 비정형 자연 데이터에 정형 데이터를 적용하기 위해 VAST 데이터 플랫폼에 추가된 시멘틱 데이터베이스 계층. 규모에 상관없이 신속한 데이터 캡처와 쿼리가 가능하도록 설계됐으며, 이벤트 스트림에서 아카이브에 이르기까지 실시간 분석 장벽을 허문 시스템이다. 

VAST 데이터엔진은 데이터 센터와 클라우드 영역을 하나의 글로벌 컴퓨팅 프레임워크로 통합하는 글로벌 기능 실행 엔진. SQL, 파이썬 등 주요 프로그래밍 언어와 이벤트 트리거 함수 등을 지원하며, 구체화되고 재생산 가능한 모델 훈련이 적용돼 AI 파이프라인을 손쉽게 관리한다. 

VAST 데이터스페이스는 어느 위치에서 데이터가 들어오든 모든 액세스 포인트의 엄격한 일관성을 유지하면서도 모든 지점에서 고성능으로 데이터를 저장, 검색, 처리하도록 해주는 글로벌 네임스페이스. VAST 데이터스페이스를 통해 온프레미스 데이터 센터와 엣지 환경에 바스트 데이터 플랫폼을 구축하며, 데이터스페이스 액세스를 AWS, MS Azure, GCP 등 주요 퍼블릭 클라우드 플랫폼으로 확장한다. 

제프 덴워스 공동설립자는 “바스트 데이터 플랫폼은 설계 시점부터 차세대 AI 기반 발견을 목표로 한 플랫폼”이라고 전하면서 “전 세계의 자연 데이터를 맥락적으로 이해해 카탈로그화하는 역량을 강화함으로써 대규모 데이터 컴퓨팅이 진행될 다음 세대를 준비하도록 모든 IT 인프라를 통합하는 데 박차를 가하고 있다. 바스트 데이터 플랫폼이 제공하는 AI 역량을 기반으로 기업은 현재 보유한 데이터의 진정한 가치를 실현할 것”고 밝혔다. 

김태훈 바스트 데이터 코리아 상무는 “바스트 데이터 플랫폼은 지금까지 존재한 어떤 데이터 플랫폼과도 완전히 다른 플랫폼”이라며 “실시간 분석으로 전 세계에 분산된 고성능 네임스페이스에 정형 및 비정형 데이터를 통합해 데이터 액세스 및 대기 시간 등 근본적인 DBMS 문제를 해결할 뿐 아니라 AI 기반 기업들이 현재 시도조차 하지 못하는 문제까지도 해결하는 근간을 제공하는 데이터 인프라”라고 강조했다. 

한편, 지난해 1월 설립된 바스트 데이터 한국 지사는 아시아와 국내에서 아이티센 그룹 계열사인 콤텍시스템과 독점 총판 계약을 맺고 있으며, 대원씨티에스, 클로잇 등 30여개 이상의 파트너사를 두고 있다. 국내에서 다수의 고객사를 유치한 바스트 데이터는 바스트 데이터 플랫폼을 통해 비즈니스 확장에 나서며, 내년 경에 데이터 컴포넌트를 모두 완료할 것이라고 밝혔다. 

 

헬로티 서재창 기자 |