검색과 추론 동시에 수행하는 RAG 특화 AI 시스템 개발할 계획 디노티시아와 하이퍼엑셀이 공동으로 ‘검색증강생성(RAG) 최적화 AI 추론 시스템’ 개발에 나선다. 이번 협력은 디노티시아의 벡터 데이터 연산 가속기 칩(VDPU)과 하이퍼엑셀의 거대언어모델(LLM) 가속기 칩인 ‘LLM 프로세싱 유닛(LPU)’을 결합해 하나의 통합 시스템을 구축하는 방식으로 진행된다. AI 서비스 분야에서 데이터 검색의 중요성이 커지면서 빠르고 효율적인 데이터 활용 방식이 요구된다. 기존 시스템은 소프트웨어 기반으로 데이터를 검색한 후 LLM을 활용한 생성형 AI 프로세스를 별도로 처리하는 구조로 인해 응답 속도가 느리고 전력 소모가 많았다. 이에 디노티시아는 VDPU 칩으로 AI가 대규모 멀티모달 데이터를 실시간 검색하고 활용하도록 지원하며, 하이퍼엑셀은 LPU 칩으로 AI 모델의 연산 성능을 극대화하는 역할을 한다. 양사는 이 두 칩을 결합해 검색과 추론을 동시에 수행하는 RAG 특화 AI 시스템을 개발할 계획이다. 이를 통해 AI가 보다 정밀한 데이터를 빠르게 찾아내고, 생성형 AI 모델의 연산 속도를 향상시키는 등 AI 서비스의 성능과 효율성을 개선할 것으로 기대된다
잇다반도체가 AI 반도체 스타트업 하이퍼엑셀에 AI 반도체 '베르다(Bertha)' 개발을 위한 제품 공급 계약을 체결했다고 26일 밝혔다. 베르다는 하이퍼엑셀이 개발하는 거대언어모델(LLM) 추론 연산에 특화된 LLM Processing Unit(이하 LPU)으로, 저비용, 저지연, 고효율 LLM도메인 특화 처리 등이 특징이다. 특히, 서버 시장에서의 가장 큰 문제점인 전력 소모를 개선할 수 있는 칩으로 기대하고 있다. 김주영 하이퍼엑셀 대표는 "베르다는 LLM 추론 부문에서 최신 그래픽 처리 장치(GPU) 대비 성능은 최대 2배, 가격 대비 성능은 19배 향상되어 기존 고비용 저효율 GPU를 대체할 제품이다. 잇다반도체와의 협력을 통해 비용 효율적이고 전력 효율적인 LLM 기능을 제공하는 AI 반도체를 고객에게 선보일 수 있게 될 것으로 기대한다"고 말했다. 전호연 잇다반도체 대표는 “LPU칩이 경쟁력을 가지기 위해서는, 압도적인 전성비가 필요한 상황이다. 데이터 센터의 가장 큰 문제는 전력 소모이기에, 경쟁력을 가지기 위해서는 미세한 파워 제어 시스템을 구현할 필요가 있고, 이는 잇다반도체가 제공하는 Power Canvas와 Clock Canvas를 통
하이퍼엑셀이 정원엔시스와 총판 계약을 체결했다고 21일 밝혔다. 정원엔시스 신사 사옥에서 진행된 이번 총판 계약 체결식은 양사 경영진이 참석한 가운데 이뤄졌다. 이번 계약을 통해 하이퍼엑셀은 자체 개발한 초거대 AI 반도체 프로세서 서버 ‘오리온(Orion)’을 공급하며 정원엔시스는 오리온의 시장 확대를 위한 영업 활동을 담당한다. 하이퍼엑셀의 오리온 서버는 생성 AI 전용 서버 제품으로 하이퍼엑셀의 AI 반도체인 ‘LPU(LLM Processing Unit)’ 기반의 서버 솔루션이다. Chat GPT 와 같은 거대언어모델(LLM)에 사용되는 고성능 GPU 보다 2배 이상 가격 효율성을 보여 고가의 GPU를 대체할 수 있는 차세대 반도체 서버로 업계의 주목을 받은 바 있다. 또한 자체 모델 병렬화 기술 및 확장 네트워크 기술을 활용해 가속기 서버의 개수가 증가할수록 성능이 비례하여 좋아지는 우수한 성능 확장성 또한 주요 특징 중 하나라고 하이퍼엑셀은 설명했다. 한덕희 정원엔시스 대표는 “하이퍼엑셀이 개발한 고성능 AI 프로세서인 LPU(LLM Processing Unit)의 우수한 성능이 이번 업무 협약을 맺게 된 계기”라며 “정원엔시스의 전문 인력과 다양한
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 04월 02일 22시 26분
