AI LLM 경량화 길 열렸다...디노티시아 ‘QLLM-INFER’ 전격 공개

아파치 2.0 라이선스 적용해 누구나 자유롭게 사용하고 기여할 수 있어 디노티시아가 한양대학교 AIHA 연구실과 공동으로 개발한 AI 양자화 알고리즘 평가 플랫폼 ‘QLLM-INFER’를 오픈소스로 공개했다. 이번 플랫폼은 아파치 2.0 라이선스를 적용해 누구나 자유롭게 사용하고 기여할 수 있도록 구성됐으며, 깃허브(GitHub)를 통해 배포된다. 대규모 언어모델(LLM)의 활용이 급증하고 있는 가운데, 고성능을 유지하면서도 경량화된 모델 구현을 위한 양자화 기술의 중요성이 부각되고 있다. 양자화는 연산 정밀도를 낮추는 방식으로, 연산 속도는 높이고 메모리 사용량은 줄이는 데 핵심적인 역할을 한다. 하지만 지금까지의 연구는 알고리즘별 평가 환경과 조건이 제각각이라 실제 활용 시 적합한 기술을 비교하고 선택하는 데 한계가 있었다. QLLM-INFER는 이러한 문제를 해결하기 위해 동일한 조건에서 다양한 양자화 기법의 성능을 객관적으로 평가할 수 있도록 고안됐다. 디노티시아와 한양대는 최근 3년간 학계와 산업계에서 가장 주목받은 양자화 기술 여덟 가지를 선별해 이를 세 가지 유형으로 구분해 분석했다. 평가 방식은 가중치와 활성화값을 함께 줄이는 방식, 가중치만

• 서재창 기자
• 2025-04-08 23:06