스포트라이트 [키워드PICK] MoE, 초거대 AI의 한계 넘는 선택적 지능의 시대

산업을 움직이는 단어 하나, 그 안에 숨은 거대한 흐름을 짚습니다. ‘키워드픽’은 산업 현장에서 주목받는 핵심 용어를 중심으로, 그 정의와 배경, 기술 흐름, 기업 전략, 시장에 미치는 영향을 차분히 짚어봅니다. 빠르게 변하는 산업 기술의 흐름 속에서, 키워드 하나에 집중해 그 안에 담긴 구조와 방향을 살펴보고자 합니다. AI 기술이 발전하면서 언어 모델의 크기는 기하급수적으로 커지고 있다. 파라미터 수조 개에 달하는 초거대 모델은 정밀한 문장 생성 능력을 보이는 반면, 그만큼 막대한 컴퓨팅 자원과 에너지를 소모한다. 이 문제를 해결하기 위한 대안으로 최근 업계의 이목을 끌고 있는 기술이 있다. 바로 ‘MoE(Mixture of Experts)’ 아키텍처다. 선택적으로 작동하는 전문가 집단의 협업 구조, MoE는 AI 기술의 효율성과 확장성을 동시에 확보할 수 있는 새로운 방향성을 제시하고 있다. MoE는 이름 그대로 여러 명의 ‘전문가(Experts)’가 혼합된 구조다. 모델 전체가 항상 동시에 작동하는 기존 방식과 달리, MoE는 입력 데이터의 특성에 따라 몇몇 전문가만 선택적으로 활성화된다. 이때 어떤 전문가를 사용할지는 ‘게이팅 네트워크(Gating

• 서재창 기자
• 2025-06-01 00:57