디노티시아 노홍찬 CDO 인터뷰
챗GPT가 월간 사용자 수 1억 명을 넘어선 가운데, 생성형 AI는 정보 생성에서 추론과 서비스로 무게중심을 옮겼다. 특히 RAG 기술이 확산되면서, 이를 뒷받침할 AI 인프라 수요가 높아졌다. 오늘날 많은 기업이 오픈소스를 조합해 자체적인 RAG 시스템을 구축하지만, 처리 속도와 정확도, 유지보수 측면에서 기술적 한계를 절감하는 중이다. 이와 같은 한계를 정면으로 풀어가는 스타트업이 있다. 벡터DB와 전용 AI 가속기, 그리고 통합 소프트웨어 플랫폼을 동시에 개발하며, AI의 추론 성능과 효율성 모두를 겨냥한 ‘디노티시아’가 바로 그 주인공이다.
추론 성능의 토대가 된 VDPU의 탄생
생성형 AI는 최근 몇 년간 모델 성능과 파라미터 크기 중심의 경쟁을 이어 왔다. 하지만 GPT-4와 같은 고성능 모델이 등장한 이후, 시장은 점차 새로운 문제에 직면하고 있다. 모델은 충분히 커졌지만, 이를 실제 업무에 적용하기 위해서는 파라미터의 크기만으로 해결되지 않는 과제가 많아진 것이다. 특히 기업 내부 데이터, 실시간으로 생성되는 동적 데이터 등을 AI가 기억하고 활용하려면, 학습이 아닌 추론 환경의 최적화가 필요하다.
디노티시아는 바로 이 지점에서 출발했다. 모델이 실제 데이터를 얼마나 빠르고 정확하게 불러오고, 의미를 연결해 추론할 수 있을지를 중심에 둔 설계가 그들의 기술 철학이다. 공개 데이터 학습에 기반한 기존 LLM 구조의 한계를 넘기 위해 이들은 초기에 장기 기억 장치 개념을 도입했다.
노홍찬 CDO는 “우리는 단순 응답을 넘어선 고도화한 추론, 그리고 그 기반이 되는 데이터 저장·검색·연산의 모든 단계에 걸쳐 독자적인 솔루션을 구축하기 시작했다. 여기에 하드웨어와 소프트웨어를 동시에 설계하고 최적화하는 방식으로, 추론 효율성과 시스템의 일관성을 확보하고 있다”고 말했다.
디노티시아가 먼저 집중한 분야는 RAG 기술을 실현하기 위한 데이터 연산 인프라였다. RAG는 AI가 외부에서 실시간으로 데이터를 검색해 활용하게 해주며, 이때 가장 핵심이 되는 기술이 벡터 기반 의미 검색이다. 수천 차원의 벡터로 표현된 문서와 사용자의 질문을 비교해 의미적으로 유사한 정보를 빠르게 찾는 이 과정은 높은 수준의 연산 성능을 요구한다. 기존 시스템에서는 대부분 GPU나 CPU에 의존했지만, 이는 비용과 성능 측면에서 한계를 드러냈다.
이를 해결하기 위해 디노티시아는 ‘VDPU(Vector Data Processing Unit)’라는 전용 가속기를 자체 설계했다. VDPU는 벡터-벡터 간 유사도 연산과 데이터 구조 탐색에 최적화한 연산 유닛으로, CPU 대비 최대 10배, GPU 대비 6~7배의 가성비를 확보했다. 특히 벡터DB에 특화한 기능을 중심으로 설계돼 AI 추론 단계의 병목을 효과적으로 해결하고 있다.
최근 디노티시아는 한국어 논리 추론에 최적화한 대형언어모델(LLM) ‘DNA-R1’을 공개하며 국산 LLM 경쟁력 강화에 본격 나섰다. DNA-R1은 140억 개의 파라미터를 갖춘 한국어 특화 모델로, 한국어 기반 논리 추론 전 과정을 출력할 수 있는 국내 최초의 모델이다. 특히, 한국어 AI 성능의 대표적 지표로 꼽히는 KMMLU 벤치마크에서 59.9%의 정확도를 기록해 기존 동급 모델의 평균 성능(50.5%)을 18.6% 포인트 이상 상회했다.
앞서 디노티시아는 한국어와 영어를 동시에 처리하는 LLM 파운데이션 모델 ‘DNA : Dnotitia AI’를 오픈소스로 공개한 바 있으며, 이번 DNA-R1은 논리적 사고, 수학 연산, 코드 작성 등 복잡한 언어적 작업을 정밀하게 수행하도록 기능을 강화했다. DNA-R1의 핵심 차별점은 단순한 문장 생성이나 번역에 머물지 않고, 추론과 사고를 요구하는 고차원 작업까지 커버한다는 점이다.
통합된 AI 인프라로 시장진출 나서다
디노티시아의 기술적 진보는 시장 반응으로 이어졌다. 지난 2024년, 디노티시아는 미국 슈퍼컴퓨팅(Super Computing 2024) 전시회에 참가해 VDPU 기반 벡터 데이터베이스 시스템 ‘씨홀스(Seahorse)’를 공개했고, 이 자리에서 글로벌 클라우드 및 AI 인프라 기업의 관심을 끌었다.
노홍찬 CDO는 “외산 중심의 AI 추론 하드웨어 시장에서 국내 기술 기반으로 독자적인 아키텍처와 성능 최적화를 구현했다는 점이 눈길을 끌었다. 단순한 데모 수준을 넘어 실제 작동 가능한 프로토타입을 선보였고, 이를 통해 디노티시아의 기술 방향성과 완성도에 대한 초기 검증이 이뤄졌다”고 밝혔다.
동시에 국내에서는 과학기술정보통신부와 산업통상자원부가 추진하는 대형 AI 가속기 과제를 연이어 수주하며 기술력을 입증했다. 특히 벡터DB 소프트웨어 및 하드웨어 통합 개발 과제에 선정되며, 관련 생태계를 주도하는 기업 중 하나로 부상했다. 이러한 성과의 배경에는 디노티시아가 초창기부터 추구해 온 시스템 통합 중심의 접근이 있었다. 이들은 특정 기능에 집중하기보다 AI 추론이 작동하는 전 과정을 하나의 흐름으로 보고, 하드웨어와 소프트웨어를 함께 설계하며 최적화하는 방식을 선택해 왔다.
디노티시아는 개발한 기술을 실제 서비스로 구현해내기 위한 제품화 전략도 빠르게 추진 중이다. 현재 주력 제품은 두 가지다. 하나는 벡터DB 솔루션인 ‘씨홀스(Seahorse)’, 다른 하나는 개인용 AI 디바이스 ‘니모스(Mnemos)’다. 씨홀스는 VDPU와 자체 벡터DB를 기반으로, 문서 청킹, 임베딩, 검색, 응답 생성을 포함한 전체 RAG 파이프라인을 통합 제공하는 엔터프라이즈용 솔루션이다. 이를 통해 기업 내부 데이터를 실시간으로 불러와 맥락 기반 응답을 생성하는 고성능 AI 시스템을 구축하며, PoC를 진행해 여러 산업 분야에서 성능을 검증받았다.
반면 니모스는 엣지 AI 환경을 겨냥한 디바이스로, 생성형 AI를 일상 업무에 가깝게 가져오려는 시도다. 이 디바이스는 사용자의 명령에 따라 브라우저를 열고 웹을 탐색하거나, 문서를 자동 작성하고 요약하는 등 복합 작업을 수행하도록 설계되고 있다. 클라우드 기반 챗봇을 넘어, 사용자 개개인에 최적화한 에이전트 서비스를 엣지에서 실행하겠다는 목표 아래 개발 중이며, 소형 VDPU, NPU, 자체 소프트웨어 스택이 통합될 예정이다. 비록 아직 상용화 초기 단계지만, 생성형 AI의 개인화와 오프라인 실행이 동시에 요구되는 미래를 염두에 둔 전략적 움직임으로 해석된다.
시장 진입을 위한 기반도 착실히 다져지고 있다. 디노티시아는 2025년부터 FPGA 버전 VDPU 출시와 2026년 ASIC 양산에 돌입할 계획이며, 이를 위한 생산 인프라 구축과 협력 체계도 구체화하고 있다. 현재는 FPGA 기반의 프로토타입을 중심으로 제품을 개발했으나, 내년부터는 자체 설계한 ASIC 칩을 양산해 퍼블릭 클라우드와 하이퍼스케일 데이터 센터용 서버 시장에 본격적으로 진출할 예정이다. 특히 최근 서버용 LPU를 개발 중인 하이퍼엑셀과의 협업으로 추론-임베딩-검색 과정을 하나로 통합한 AI 서버 솔루션도 함께 개발 중이다.
디노티시아의 기술의 설계, 구현, 검증, 그리고 실제 현장에서의 적용까지 전 과정을 수직 계열화해 빠르게 제품화하고 있다. 노홍찬 CDO는 “기업은 AI 도입을 넘어 자사의 데이터와 환경에 맞게 활용하는 기반을 갖추는 단계로 진입했다. 이에 우리는 기술적 해답을 제시하고 있다. AI의 추론 성능을 높이는 데 필요한 데이터 구조와 연산 효율성, 그리고 이를 뒷받침할 하드웨어 인프라까지 통합적으로 설계하면서, 실용성을 갖춘 AI 시스템를 위한 기반을 다지고 있다”고 말했다.
올해는 디노티시아에 있어 기술 검증을 시장으로 옮기는 해다. RAG 환경에 최적화한 VDPU, 이를 실질적으로 활용하는 씨홀스와 니모스, 그리고 벡터 기반 의미 검색과 데이터 탐색 알고리즘까지 연결된 이 시스템은 이미 하나의 생태계를 형성하고 있다. 이러한 수직 통합 구조는 고객 요구에 따라 맞춤형 설계와 빠른 피드백이 가능하게 하며, AI 시스템 도입에서 흔히 발생하는 성능과 비용 간의 균형 문제도 효과적으로 해결한다.
생성형 AI 기술이 서비스화하고, 인프라 경쟁이 본격화하는 시점에서 디노티시아가 제시하는 방향성은 산업 전반에 중요한 참고 사례가 된다. 기술을 넘어, 현장의 문제를 해결하는 시스템이 필요해진 지금, 디노티시아는 그 해답을 현실적으로 풀어내고 있다.
헬로티 서재창 기자 |
