테크노트 KAIST, 고비용 인프라 없이 AI 학습 속도 높이는 기술 개발

한국과학기술원(KAIST)은 고성능 칩 없이도 인공지능(AI) 모델 학습 속도를 최대 100배 높일 수 있는 기술을 개발했다고 19일 밝혔다. 현재 AI 모델 학습을 위해서는 개당 수천만원에 달하는 엔비디아의 고성능 GPU인 ‘H100’ 여러 개와 이를 연결하기 위해 400Gbps(초당 기가비트)급 고속 네트워크를 갖춘 인프라가 필요하다. 이 때문에 소수의 거대 IT 기업을 제외한 대부분 기업이나 연구자들은 활용하기 쉽지 않다. 한동수 교수 연구팀은 H100 가격의 10분의 1에 불과한 소비자용 GPU를 활용해 고속 전용 네트워크의 수백∼수천분의 1 수준의 저대역폭에서도 효율적인 분산 학습이 가능한 프레임워크 ‘스텔라트레인’(StellaTrain)을 개발했다. 학습을 작업 단계별로 나눠 CPU와 GPU가 병렬적으로 처리할 수 있도록 하고, 네트워크 속도에 맞춰 데이터를 효율적으로 압축·전송하는 알고리즘을 개발해 고속 네트워크 없이도 여러 대의 저가 GPU로 빠른 학습을 가능하게 했다. 스텔라트레인 기술을 사용하면 기존 데이터 병렬 학습에 비해 최대 104배 빠른 성능을 낼 수 있다고 연구팀은 설명했다. 한동수 교수는 “대규모 AI 모델 학습을 누구나 쉽게 접

• 이창현 기자
• 2024-09-19 11:26