Arm은 최근 Arm Kleidi 기술을 PyTorch 및 ExecuTorch와 통합해 차세대 앱이 Arm CPU에서 대규모 언어 모델(LLM)을 실행할 수 있도록 지원한다고 30일 발표했다.
Kleidi는 최신 개발자 지원 기술과 핵심 리소스를 결합해 ML 스택 전반에서 기술 협업과 혁신을 촉진한다. 이러한 개발을 통해 Arm은 개발자가 ML 스택의 어느 단계에 있든 원활한 경험을 극대화할 수 있도록 한다.
알렉스 스피넬리 Arm 개발자 기술 부문 부사장은 “Arm은 소프트웨어 개발자가 Arm 기반 하드웨어에서 가속화된 AI와 ML 워크로드를 쉽게 구현할 수 있는 환경을 조성하기 위해 선도적인 클라우드 서비스 제공업체 및 프레임워크와 긴밀히 협력하고 있다”고 말했다.
이어 “Kleidi는 출시된 지 불과 4개월 만에 이미 개발을 가속화하고 Arm CPU에서 주요 AI 성능 향상을 실현하고 있다”며 “Arm과 PyTorch 커뮤니티와의 긴밀한 협력은 해당 기술이 개발자가 효율적인 AI를 활용하는 데 필요한 노력을 대폭 줄여주는 좋은 예”라고 설명했다.
클라우드에서 Kleidi는 Arm 컴퓨팅 라이브러리(ACL)를 통해 PyTorch를 개선한 Arm의 기존 작업을 기반으로 모든 곳에서 Arm의 AI를 최적화하기 위한 청사진을 수립한다. 이 비전을 향한 핵심 단계로 Arm은 PyTorch 및 TensorFlow와 직접 파트너십을 맺고 이러한 주요 프레임워크에 직접 통합된 필수 Arm 커널(kernels)로 구성된 Arm Kleidi 라이브러리를 통합했다.
Arm은 “애플리케이션 개발자는 새로운 프레임워크 버전이 출시되는 즉시 Arm을 기반으로 구축하기 위한 추가 단계를 거치지 않고도 극적인 성능 개선의 이점을 자동으로 누릴 수 있다”며 “이러한 투자의 긍정적인 영향은 이미 파트너십에서 확인되고 있다”고 전했다.
헬로티 이창현 기자 |
