실제 데이터가 부족한 산업군에서도 정밀한 도메인 특화 모델 신속하게 만들어
투플랫폼이 기업 환경에 최적화한 지식 증류 프레임워크 ‘수트라 D3(SUTRA D3)’를 공개했다. 이번 프레임워크는 제한된 데이터와 적은 비용으로 도메인 특화 모델을 쉽고 빠르게 구축 및 배포하도록 설계됐다.
지식 증류(Knowledge Distillation)는 최근 AI 업계에서 주목받는 기술로, 대형 언어모델(LLM)을 실제 업무에 적용할 때 발생하는 비용 문제와 확장성 한계를 해결하는 대안으로 떠오르고 있다. 기존 파인튜닝 방식은 막대한 데이터와 비용, 그리고 긴 학습 시간이 필요했지만, 지식 증류는 대형 모델의 결과를 모방해 소형 모델을 학습시키는 방식으로 경량화와 비용 절감이라는 두 마리 토끼를 잡을 수 있다.
투플랫폼은 이러한 시장 흐름에 발맞춰 수트라 D3를 선보이며, AI 전환(AI Transformation, AX) 시대 기업들의 요구에 대응하고 있다. 수트라 D3는 지식 증류(Distillation), 도메인 특화(Domain), 데이터 중심 학습(Data)이라는 세 가지 핵심 요소를 기반으로 설계됐다. 특히, 대형 모델이 생성한 합성 데이터를 활용해 실제 데이터가 부족한 산업군에서도 정밀한 도메인 특화 모델을 빠르게 만들 수 있다는 점이 특징이다.
의료 산업을 예로 들면, 환자의 민감한 의료 기록 대신 합성 데이터를 기반으로 다양한 언어를 아우르는 의료 기록 분석 모델을 구축할 수 있다. 이는 개인정보 보호는 물론, 데이터 수집과 라벨링 비용 절감에도 기여한다.
수트라 D3는 대형 모델 대비 1/10 수준의 경량화를 실현했으며, 온프레미스나 엣지 환경에서도 무리 없이 구동된다. 성능은 유지하면서도 인프라 구축 비용 부담을 대폭 낮췄다는 평가다. 또한, API형 서비스뿐 아니라 온디바이스 배포 옵션도 지원해, 다양한 기업 환경에 유연하게 대응할 수 있도록 설계됐다.
API 호출 비용 절감은 물론, 독립적이고 빠른 배포가 가능해 기업들이 자체 데이터 센터나 클라우드 환경에서 원하는 대로 운영할 수 있다. 이를 통해 기업 고객은 빠른 대응과 확장성 확보라는 두 가지 목표를 동시에 달성할 수 있다.
투플랫폼은 삼성전자 최연소 임원 출신이자 인도 출신 과학자 프라나브 미스트리가 2021년 설립한 스타트업으로, 텍스트, 음성, 비주얼, 검색 등 다양한 영역에서 자체 AI 모델을 개발하고 있다. 최근에는 자사의 AI 챗봇 ‘챗수트라(ChatSUTRA)’가 출시 한 달 만에 이용자 100만 명을 돌파하며 개인 사용자 시장에서도 존재감을 확대하고 있다.
프라나브 미스트리 대표는 “범용 LLM 시대가 지나고 실무 최적화 경량 모델의 필요성이 커지고 있다”며, “수트라 D3는 경량화, 비용 절감, 내부 데이터 특화 측면에서 기업 환경에 최적화한 솔루션이 될 것”이라고 강조했다. AI 시장이 빠르게 다변화하는 가운데, 투플랫폼의 수트라 D3는 기업의 실질적 AI 전환을 가속화하는 핵심 툴로 자리잡을 가능성이 높아 보인다.
헬로티 서재창 기자 |
