검색과 추론 동시에 수행하는 RAG 특화 AI 시스템 개발할 계획
디노티시아와 하이퍼엑셀이 공동으로 ‘검색증강생성(RAG) 최적화 AI 추론 시스템’ 개발에 나선다.
이번 협력은 디노티시아의 벡터 데이터 연산 가속기 칩(VDPU)과 하이퍼엑셀의 거대언어모델(LLM) 가속기 칩인 ‘LLM 프로세싱 유닛(LPU)’을 결합해 하나의 통합 시스템을 구축하는 방식으로 진행된다.
AI 서비스 분야에서 데이터 검색의 중요성이 커지면서 빠르고 효율적인 데이터 활용 방식이 요구된다. 기존 시스템은 소프트웨어 기반으로 데이터를 검색한 후 LLM을 활용한 생성형 AI 프로세스를 별도로 처리하는 구조로 인해 응답 속도가 느리고 전력 소모가 많았다. 이에 디노티시아는 VDPU 칩으로 AI가 대규모 멀티모달 데이터를 실시간 검색하고 활용하도록 지원하며, 하이퍼엑셀은 LPU 칩으로 AI 모델의 연산 성능을 극대화하는 역할을 한다.
양사는 이 두 칩을 결합해 검색과 추론을 동시에 수행하는 RAG 특화 AI 시스템을 개발할 계획이다. 이를 통해 AI가 보다 정밀한 데이터를 빠르게 찾아내고, 생성형 AI 모델의 연산 속도를 향상시키는 등 AI 서비스의 성능과 효율성을 개선할 것으로 기대된다.
디노티시아 정무경 대표는 “LLM 서비스의 확산으로 데이터 검색과 연산 성능을 동시에 향상시키는 기술이 필수적이다”라며 “이번 협력을 통해 AI 모델의 추론뿐만 아니라 데이터 검색 기능까지 최적화된 새로운 개념의 AI 시스템을 선보이겠다”고 밝혔다. 또한 “AI에 장기 메모리 기능을 적용해 사용자 데이터를 심층적으로 이해하고, 정밀한 맞춤형 서비스를 제공할 것”이라며 “이를 통해 AI의 할루시네이션 문제를 줄이고, 보다 전문적이고 개인화된 AI 서비스로 발전할 것”이라고 강조했다.
하이퍼엑셀 김주영 대표 역시 “AI 연산의 병목 현상을 해결하고 성능과 효율성을 동시에 확보하는 것이 AI 반도체의 핵심 과제”라며 “이번 협력을 통해 RAG와 LLM을 최적화한 AI 시스템을 구축함으로써 AI 서비스 운영 방식에 혁신을 가져올 것”이라고 말했다.
헬로티 서재창 기자 |
