데이터브릭스(Databricks)는 비기술 사용자도 코드 개발 없이 손쉽게 데이터 파이프라인을 구축할 수 있는 새로운 노코드 ETL 기능 ‘레이크플로우 디자이너(Lakeflow Designer)’의 프리뷰 버전을 공개할 예정이라고 13일 밝혔다.
레이크플로우 디자이너는 직관적인 드래그 앤 드롭 방식의 시각적 인터페이스와 자연어 기반의 생성형 AI 도우미를 제공해 기술적 전문 지식이 없는 사용자도 운영 환경 수준의 데이터 파이프라인을 쉽게 설계하고 구축할 수 있도록 돕는다.
이 기능은 데이터브릭스의 통합 데이터 파이프라인 솔루션인 ‘레이크플로우(Lakeflow)’를 기반으로 한다. 레이크플로우는 데이터 엔지니어들이 모든 비즈니스 핵심 데이터를 활용해 신뢰할 수 있는 파이프라인을 더 빠르게 구축할 수 있도록 설계된 솔루션으로 현재 정식 출시됐다.
전통적으로 기업은 데이터 파이프라인 구축에 있어 어려운 선택지에 직면해 왔다. 분석가가 노코드 또는 로우코드 도구를 사용해 파이프라인을 직접 구축하도록 허용하면 거버넌스, 확장성, 신뢰성 측면에서 한계를 감수해야 했고, 반대로 운영 수준의 파이프라인을 코드로 개발하려면 데이터 엔지니어링 팀에 의존해야 했다.
그러나 엔지니어링 팀은 이미 과중한 업무에 시달리고 있으며 작업 요청은 장기간 대기 상태에 놓였다. 이러한 이유로 다수의 기업들은 두 방식을 혼합해 사용하는 경우가 많지만 이는 결국 복잡하고 관리가 어려운 데이터 환경을 만들게 된다. 데이터 기반 기업들이 결국 필요로 하는 것은 거버넌스, 확장성, 신뢰성을 모두 충족하면서도 코드 없이 손쉽게 구축할 수 있는 데이터 파이프라인 환경이다.
알리 고드시 데이터브릭스 공동창립자 겸 CEO는 “조직들이 AI 역량을 확장해야 한다는 압박이 점점 커지고 있다. 고품질 데이터를 적시에 적절한 위치로 전달하는 것은 지능형 애플리케이션 개발을 앞당기는 핵심 요소”라며 “레이크플로우 디자이너는 조직 내 더 많은 사람들이 운영 수준의 데이터 파이프라인을 구축할 수 있도록해 아이디어에서 실제 영향으로 이어지는 과정을 더욱 빠르게 만들 수 있도록 지원한다”고 말했다.
데이터브릭스가 새롭게 선보이는 레이크플로우 디자이너는 비즈니스 분석가들이 코드 없이 ETL 파이프라인을 구축할 수 있도록 지원한다. 자연어 명령과 드래그 앤 드롭 방식의 사용자 인터페이스를 통해 데이터 엔지니어가 구축한 파이프라인과 동일한 수준의 확장성, 거버넌스, 유지관리성을 확보할 수 있다.
레이크플로우 디자이너는 레이크플로우, 유니티 카탈로그, 데이터브릭스 어시스턴트를 기반으로 설계돼 기존의 코드 기반 및 노코드 도구 간의 간극을 해소한다. 이를 통해 기술적 배경이 없는 사용자도 데이터 엔지니어에게 유지보수나 거버넌스 관련 부담을 주지 않고 비즈니스 문제를 신속하고 유연하게 해결할 수 있다.
헬로티 이창현 기자 |
