디노티시아 노홍찬 CDO 인터뷰 챗GPT가 월간 사용자 수 1억 명을 넘어선 가운데, 생성형 AI는 정보 생성에서 추론과 서비스로 무게중심을 옮겼다. 특히 RAG 기술이 확산되면서, 이를 뒷받침할 AI 인프라 수요가 높아졌다. 오늘날 많은 기업이 오픈소스를 조합해 자체적인 RAG 시스템을 구축하지만, 처리 속도와 정확도, 유지보수 측면에서 기술적 한계를 절감하는 중이다. 이와 같은 한계를 정면으로 풀어가는 스타트업이 있다. 벡터DB와 전용 AI 가속기, 그리고 통합 소프트웨어 플랫폼을 동시에 개발하며, AI의 추론 성능과 효율성 모두를 겨냥한 ‘디노티시아’가 바로 그 주인공이다. 추론 성능의 토대가 된 VDPU의 탄생 생성형 AI는 최근 몇 년간 모델 성능과 파라미터 크기 중심의 경쟁을 이어 왔다. 하지만 GPT-4와 같은 고성능 모델이 등장한 이후, 시장은 점차 새로운 문제에 직면하고 있다. 모델은 충분히 커졌지만, 이를 실제 업무에 적용하기 위해서는 파라미터의 크기만으로 해결되지 않는 과제가 많아진 것이다. 특히 기업 내부 데이터, 실시간으로 생성되는 동적 데이터 등을 AI가 기억하고 활용하려면, 학습이 아닌 추론 환경의 최적화가 필요하다. 디노티시아는
시맨틱 검색 최적화, 멀티모달 RAG 지원, 10배 향상된 검색 속도 등 지원해 디노티시아는 미국 애틀란타에서 열리는 세계 최대 규모의 슈퍼컴퓨팅 기술 전시회 ‘슈퍼컴퓨팅 2024((SuperComputing 2024)’에 참가해 고성능 벡터 데이터베이스 시스템 ‘씨홀스(Seahorse)’를 최초로 공개했다. 벡터 데이터베이스는 LLM 기반 인공지능 서비스 기술인 검색증강생성(RAG)을 위한 핵심 기술로, 씨홀스는 LLM이 동작할 수 있는 정보와 장기기억을 제공하고, 대규모 데이터에서 고성능, 고품질의 시맨틱 검색을 가능하게 한다. 벡터 데이터베이스는 텍스트, 이미지, 동영상 등 멀티모달 데이터를 고차원 벡터로 변환하여 유사도 기반 검색을 효율적으로 수행할 수 있도록 설계된 데이터베이스 시스템이다. 씨홀스는 벡터 데이터베이스 기술을 기반으로 텍스트, 이미지 등 다양한 형태의 데이터를 맥락에 맞게 검색할 수 있는 시맨틱 검색 기능을 제공한다. 이를 통해 사용자가 찾고자 하는 정보와 가장 관련성 높은 결과를 정확하게 찾아내며, AI 시스템의 정보 검색 및 활용 성능을 한층 끌어올린다. 씨홀스에서 주목할 만한 점은 세계 최초로 개발한 벡터연산 전용 가속 반도체 칩