인터뷰 [헬로AI] 디노티시아 VDPU가 바꾼 ‘쓸모 있는’ AI 인프라 공식

디노티시아 노홍찬 CDO 인터뷰 챗GPT가 월간 사용자 수 1억 명을 넘어선 가운데, 생성형 AI는 정보 생성에서 추론과 서비스로 무게중심을 옮겼다. 특히 RAG 기술이 확산되면서, 이를 뒷받침할 AI 인프라 수요가 높아졌다. 오늘날 많은 기업이 오픈소스를 조합해 자체적인 RAG 시스템을 구축하지만, 처리 속도와 정확도, 유지보수 측면에서 기술적 한계를 절감하는 중이다. 이와 같은 한계를 정면으로 풀어가는 스타트업이 있다. 벡터DB와 전용 AI 가속기, 그리고 통합 소프트웨어 플랫폼을 동시에 개발하며, AI의 추론 성능과 효율성 모두를 겨냥한 ‘디노티시아’가 바로 그 주인공이다. 추론 성능의 토대가 된 VDPU의 탄생 생성형 AI는 최근 몇 년간 모델 성능과 파라미터 크기 중심의 경쟁을 이어 왔다. 하지만 GPT-4와 같은 고성능 모델이 등장한 이후, 시장은 점차 새로운 문제에 직면하고 있다. 모델은 충분히 커졌지만, 이를 실제 업무에 적용하기 위해서는 파라미터의 크기만으로 해결되지 않는 과제가 많아진 것이다. 특히 기업 내부 데이터, 실시간으로 생성되는 동적 데이터 등을 AI가 기억하고 활용하려면, 학습이 아닌 추론 환경의 최적화가 필요하다. 디노티시아는

• 서재창 기자
• 2025-04-03 10:51