파이프라인, 고품질의 데이터를 빠르게 확보하도록 클러스터 서버 기반으로 병렬 처리
스트라드비젼이 디지털 전환을 가속화하기 위해 데이터 파이프라인 자동화 시스템을 구축했다고 밝혔다.
데이터 파이프라인은 다양한 데이터 소스에서 수집된 원시 데이터를 분석이 용이한 형태로 변환해 데이터 웨어하우스로 저장하는 전처리 과정을 말한다. 데이터 파이프라인은 보통 ETL(Extracting, Transforming, Loading)을 포함하는 과정으로 진행되는데, SVNet의 경우 상대적으로 복잡도가 높고 정밀한 데이터로 학습하기 때문에 ETL 과정을 여러 단계로 세분화했다. 이러한 이유로 전체 과정이 복잡하고 더 많은 시간이 소요된다.
데이터 품질이 SVNet 성능에 많은 영향을 주기에, 스트라드비젼은 SVNet 고도화를 위해 자동화를 택했다. 스트라드비젼이 구축한 데이터 파이프라인 자동화 시스템은 크게 세 단계로, 전처리, 품질, 효율 파이프라인이다. 파이프라인은 SVNet의 성능을 높일 수 있는 고품질의 데이터를 빠르게 확보하도록 클러스터 서버 기반으로 병렬 처리되며 모든 데이터는 데이터 센터를 통해 처리된다.
데이터 센터는 스트라드비젼에서 자체 개발한 데이터 웨어하우스로 데이터 중앙화의 핵심적인 역할을 하는 서비스다. 데이터 파이프라인의 데이터 흐름을 제어하고 사내 모든 구성원이 동일한 인터페이스로 데이터 접근이 가능하도록 한다. 스트라드비젼은 데이터 파이프라인 자동화 시스템의 각 단계를 통해 오차범위를 줄이고 생산성을 높여 비용 절감 효과를 누렸다. 고객 역시 정확하고 안정적인 SVNet을 제공받게 됐다.
많은 기업이 차량에서 수집된 데이터를 학습을 위한 데이터로 변환하는 과정에서 놓치고 있는 부분이 데이터 동기화 및 왜곡에 대한 부분이다. 라이다, DGPS, 레이더, CAN과 같은 차량 센서 데이터와 카메라를 통해 수집한 영상 데이터는 하드웨어 특성에 따라 지연과 왜곡이 발생하는데, 고속으로 주행하면서 데이터를 취득해야 하는 특성상 여기서 발생되는 오차가 데이터의 품질에 큰 영향을 주게 된다.
스트라드비젼은 이 부분을 해결하기 위해 데이터 보정 기술을 개발해 데이터 품질을 대폭 개선했다. 이 과정에서 수작업을 최소화하기 위해 자동화된 파이프라인을 구축, 이를 통해 작업 품질 향상 및 비용절감 목표를 달성했다.
데이터 전처리 파이프라인에서 추출된 객체들은 SVNet에서 인식될 수 있도록 학습 과정을 거쳐야 한다. 최근 AI 기업은 데이터 양보다 질을 강조하는 방향으로 나아가고 있다. 기존에는 학습 효과를 높이기 위해 데이터 양을 늘리는데 중점을 뒀지만, 데이터 품질을 높였더니 같은 양의 데이터로도 성능을 향상할 수 있다는 것을 확인했기 때문이다. 이에 스트라드비젼 또한 SVNet의 영상 인식률을 획기적으로 향상시키기 위해 데이터 품질 파이프라인을 도입, 오류 파악과 수정 과정을 통해 데이터의 질을 높였다. 이처럼, 데이터 품질 파이프라인은 동일한 데이터 양으로도 노이즈를 줄이고 인식률을 개선해 AI 모델 성능을 극대화한다.
스트라드비젼은 데이터 효율 파이프라인을 통해 SVNet 학습에 필요한 데이터 생성 작업 비용을 낮추고 품질을 높였다. AI 학습에 사용되는 데이터는 주로 수작업으로 생성되는데, 작업자의 투입 시간과 숙련도에 따라 비용과 품질이 달라질 수 있다. 이러한 문제를 해결하기 위해 데이터 생성 과정에서 시간이 오래 걸리는 작업을 자동으로 분석하고 작업자와 협업하는 AI 모델을 개발했다. AI 모델을 통해 작업 시간이 단축됨에 따라 비용이 절감됐으며, 모든 작업자의 품질을 일정하게 유지하게 됐다. 또한, AI 모델은 지속적으로 재학습하고 실시간으로 업데이트해 작업자의 데이터 생성 작업도 지원한다.
스트라드비젼의 잭 심(Jack Sim) CTO는 "스트라드비젼은 고객들에게 빠르고 안정적인 서비스 제공을 위해 디지털 전환을 가속화하고 있다. 이를 위해 데이터 파이프라인 자동화 시스템을 구축했다”며 “앞으로도 지속적인 프로세스 자동화로 운영 비용 절감 및 리소스 활용 최적화로 고객에게 더 나은 서비스를 제공할 수 있도록 할 것”이라고 전했다.
헬로티 서재창 기자 |
