일반뉴스 프렌들리에이아이, 초거대 언어 모델 추론 효율성 높이는 시스템 공개

반복 단위 스케줄링, 선택적 배치 처리 등 핵심 기술 적용...작업 효율↑ 비용↓ 프렌들리에이아이(FriendliAI)가 GPT-3와 같은 생성 모델의 효율을 획기적으로 끌어올리는 ‘오르카(Orca)’ 시스템을 발표했다. 오르카는 초거대 AI 모델의 효율적인 추론을 가능하게 하는 서빙 시스템이다. 기존 서빙 시스템에서 일어나던 비효율적인 지연을 없애기 위해 ‘반복 단위 스케줄링’과 ‘선택적 배치 처리’라는 핵심 기술을 적용했다. 가령 기존 시스템이 가장 목마를 오래 타고 싶은 사람이 만족할 때까지 아무도 회전목마에서 내리거나 올라탈 수 없도록 하는 방식이었다면, 오르카는 매번 회전목마가 돌 때마다 사람들이 내리거나 올라탈 수 있게 해 더 효율적이고 만족도 높은 운행이 가능하도록 한다는 것이다. 이를 통해 기존에 사용되던 시스템보다 수십 배 이상 빠른 속도로 초거대 언어 모델의 생성 작업을 수행할 수 있다. 특히 초거대 언어 모델을 사용하기 위한 비용이 수십 배나 줄어들어 이용자들의 접근성도 향상시킬 수 있을 것으로 기대된다. 프렌들리에이아이는 오르카를 사용하는 초거대 AI 서비스를 제공하고 있다. 전병곤 프렌들리에이아이 대표는 “OpenAI GPT-3 등의

• 이동재 기자
• 2022-07-13 11:35