퀄컴 테크날러지와 메타(Meta)는 메타의 라마 2(Llama 2) 대형 언어 모델(LLM)을 클라우드에만 의존하지 않고 온디바이스에서 실행할 수 있도록 최적화할 예정이라고 19일 밝혔다.
라마 2와 같은 생성형 AI 모델을 스마트폰, PC, VR/AR 헤드셋, 차량 등의 온디바이스에서 실행함으로써 개발자들은 클라우드 비용을 절감할 뿐만 아니라 이용자들에게 개인적이고 신뢰할 수 있고 맞춤화된 경험을 제공할 수 있다.
이에 퀄컴은 새롭고 흥미로운 AI 애플리케이션 제작이 가능한 라마 2 기반의 온디바이스 AI 구현이 가능하도록 지원할 예정이다. 이로써 고객과 파트너, 개발자들은 지능형 가상 비서 및 생산성 애플리케이션, 콘텐츠 제작 도구, 엔터테인먼트 등의 사용 사례를 구축할 수 있다. 스냅드래곤으로 구동되는 이러한 새로운 온디바이스 AI 경험은 인터넷 연결이 없는 곳에서나 비행기 모드에서도 사용이 가능하다.
두르가 말라디 퀄컴 테크날러지 수석 부사장 겸 기술, 기획 및 엣지 솔루션 부문 본부장은 "퀄컴은 메타의 개방적이고 책임 있는 AI 접근 방식에 힘입어 생성형 AI를 온디바이스에 적용해 모든 규모의 개발자들을 위한 혁신을 추진하고 진입 장벽을 완화하는 데 전념하고 있다"고 전했다.
이어 "생성형 AI의 효과적인 대중화를 위해서는 클라우드뿐만 아니라 스마트폰, 노트북, 차량, IoT 등과 같은 엣지 디바이스에서도 AI를 작동할 수 있어야 한다"고 말했다.
메타와 퀄컴은 기술 혁신을 주도하고 최고의 기기 경험을 제공하기 위해 오랫동안 협력해왔다. 라마 생태계를 확장하기 위한 양사의 협력은 연구 및 제품 엔지니어링 노력 전반에 걸쳐 있으며, 퀄컴의 온디바이스 AI 리더십은 라마 생태계 확장에 중요한 역할을 하고 있다.
퀄컴은 2024년부터 스냅드래곤 기반 단말기에 라마 2 기반 AI 구현이 가능하도록 지원할 예정이다. 개발자들은 퀄컴 AI 스택을 활용해 온디바이스 AI 애플리케이션을 최적화할 수 있다.
퀄컴 AI 스택은 스냅드래곤에서 AI를 더 효율적으로 처리해 얇고 가벼운 소형 기기에서도 온디바이스 AI 구현을 가능하게 하는 전용 도구 모음이다. 관련 최신 정보는 퀄컴의 월간 개발자 뉴스레터 구독을 통해 확인할 수 있다.
헬로티 이창현 기자 |
