AI반도체 조합으로 효율적인 분산 추론과 모델 최적화 기술 확보에 초점 맞춰

 

코난테크놀로지가 과학기술정보통신부가 추진하는 K-클라우드 기술개발 사업의 일환으로 진행되는 ‘이종 AI반도체 기반 분산 추론 및 모델 최적화 기술 개발’ 과제에 참여하게 됐다. 본 과제는 과기정통부의 중장기 전략 하에 국내 AI 인프라의 기술 자립과 경쟁력 확보를 목표로 기획된 프로젝트다.

 

해당 과제는 총 104억 원 규모로, 2025년 4월부터 2029년 12월까지 약 4년 9개월간 진행된다. 한국전자통신연구원(ETRI)이 주관하며, 공동 연구 컨소시엄에는 AI 반도체 스타트업 리벨리온, 서울대학교, 한국과학기술원(KAIST), 그리고 코난테크놀로지가 참여한다. 

 

 

이번 과제의 핵심은 NPU, PIM 등 다양한 구조의 AI반도체를 조합해 효율적인 분산 추론과 모델 최적화를 구현하는 기술을 확보하는 것이다. 특히, 고비용·고연산을 요구하는 대규모 언어모델(LLM) 기반 서비스가 늘어나는 상황에서, 다양한 AI 하드웨어 환경에 맞춘 분산형 AI 소프트웨어 프레임워크 개발이 산업적 관건으로 부상하고 있다.

 

코난테크놀로지는 이 중 ‘LLM-RAG 기반 분산 추론 통합 실증 서비스’ 부문을 담당한다. 자사의 자연어 처리(NLP)와 생성형 AI 기술력을 기반으로, 다양한 반도체 환경에서도 안정적으로 대규모 언어모델 기반 서비스를 실행할 수 있는 기술적 기반을 구축할 계획이다. 이를 통해 고성능 분산 추론 구조의 현실 적용 사례를 만들고, 국산 AI 기술의 상용화 가능성을 높이는 데 기여하겠다는 전략이다.

 

이번 프로젝트를 통해 개발되는 주요 기술은 이종 AI반도체 연동 환경에서 작동하는 AI 모델 실행 프레임워크, AI 가속 자원 통합 스케줄링 시스템, 그리고 실제 사용자 단말에서도 구동 가능한 LLM-RAG 기반 통합 서비스로 구성된다.

 

오창민 코난테크놀로지 언어음성연구소 상무는 “국가 차원의 AI 인프라 자립을 위한 중점 과제에 참여하게 되어 의미가 크다”며 “이종 AI반도체 기반 추론 기술을 실증하고, 차세대 AI 서비스의 현실화를 위한 기술력을 입증하겠다”고 밝혔다.

 

한편, 코난테크놀로지는 다음달 13일 열리는 ‘2025 코난테크놀로지 AI쇼케이스-미디어 브리핑’을 통해 자사의 LLM 모델 ‘코난 LLM’과 RAG 기반 문서 검색 솔루션 ‘코난 RAG-X’를 포함한 생성형 AI 신제품과 함께, 향후 사업화 전략을 공개할 예정이다.

 

헬로티 서재창 기자 |