"연말까지 100억 개 파라미터 지원 및 생산성 보장된 모델, 폼팩터 제공할 것" 

 

퀄컴코리아가 지난 21일 서울 교보생명빌딩 15층에서 ‘The Future of AI is ‘On-device’를 주제로 미디어 라운드테이블을 진행했다. 

 

이번 미디어 라운드테이블에서는 비네쉬 수쿠마(Vinesh Sukumar) 퀄컴 테크날러지 시니어 디렉터 겸 AI/ML 제품 관리 총괄이 참석해 엣지 디바이스에서 구동하는 AI 기술과 함께 온 디바이스 AI 기술을 기반으로 엣지 폼팩터부터 클라우드까지 확장되는 생성형 AI에 대해 발표했다. 

 

 

오늘날 생성형 AI는 전 산업이 주목하는 기술이 됐다. 오픈AI의 챗GPT 공개 이후 초거대 AI를 기반으로 한 생성형 AI 서비스가 폭발적으로 증가하는 추세다. 반면 생성형 AI는 유즈 케이스가 확장하기 쉽지 않을 것이라는 의견이 나온다. 유저 수와 비례해 급증하는 데이터를 처리하기 위해서는 엄청난 비용이 뒤따르기 때문이다.

 

퀄컴은 생성형 AI 경쟁력을 확보하기 위해 온 디바이스에 많은 투자를 진행했다고 밝혔다. 이에 비네쉬 수쿠마 총괄은 "엣지에서 거대 AI 모델을 지원하는 인프라가 필요하다. 퀄컴은 올해 말까지 100억 개 파라미터를 지원할 것"이라고 밝혔다. 이와 함께 업무 생산성이 보장된 모델과 다양한 폼팩터를 제공할 것이라고 언급했다. 

 

비네쉬 수쿠마 총괄은 엣지 단에서 생성형 AI를 활용한 최적의 결과물을 생산할 수 있으며, 클라우드 인프라와 비교했을 때 밀리지 않는다고 말했다. 이것이 가능한 이유는 퀄컴이 개발한 소프트웨어가 성능을 받쳐주기 때문이라고 덧붙였다. 

 

비네쉬 수쿠마 총괄은 생성형 AI를 활용해 다양한 산업에서 유즈 케이스를 만들어낼 수 있다고 언급했다. 여기에는 이메일 작성, PPT 제작, 영상 제작, 게임 콘텐츠 제작, 매장 운영, 차량 메뉴얼 학습, 교육 자료, 디지털 헬스케어 등이 포함됐다. 

 

 

관건은 이 같은 유즈 케이스를 어떤 방식으로 상용화하느냐가 중요하다. 비네쉬 수쿠마 총괄은 "메타가 개발한 라마의 경우 70억 개의 파라미터가 구동된다. 이는 방대한 데이터 메모리를 필요로 한다. 스마트폰에서는 구현하기 어려운 양이다. 퀄컴의 온 디바이스는 자사 소프트웨어 스택 관리를 통해 서비스 품질을 보장한다"고 말했다. 

 

이와 함께 퀄컴은 AI를 위해 설계된 엔진인 헥사곤 프로세서의 중요성을 강조했다. 비네쉬 수쿠마 총괄은 "우리는 헥사곤 프로세서를 위해 10년 동안 많은 투자를 진행했다. 헥사곤 프로세서는 AI 유즈 케이스 확보를 가속화할 것으로 보이며, 이미지 분류 및 탐지, 이미지 이해 등에 대해 탁월해 생성형 AI 서비스에 많은 도움이 될 것"이라고 말했다. 

 

비네쉬 수쿠마 총괄은 생성형 AI의 개인화에 대해 지속해서 언급했다. 그는 "퀄컴은 카메라, 모뎀, 블루투스 등 사용자 데이터를 확보할 수 있는 채널을 통해 인풋 프롬프트를 체계적으로 정의할 수 있다. 이를 LLM에 입력한다면, 보다 나은 개인화 서비스를 받을 수 있을 것으로 보인다"고 말했다. 

 

끝으로, 비네쉬 수쿠마 총괄은 "우리는 온 디바이스를 강조하고 있으나, 하이브리드 클라우드 또한 대세다. 엣지와 클라우드의 AI 서비스 조합을 '하이브리드 AI'라 일컫는다. 데이터 양과 중요도에 따라, 클라우드와 온 디바이스를 적절히 활용하면 된다. 한 예로, 디바이스 내에서는 작은 규모로 드래프트 모델을 만들 수 있고 클라우드에서는 거대한 모델을 만들 수 있다"고 말했다. 

 

헬로티 서재창 기자 |