AI 에이전트 성능 향상시키는 핵심 전략으로 데이터 플라이휠 개념 도입
엔비디아가 차세대 기업용 AI 에이전트 플랫폼 구축을 위한 ‘네모 마이크로서비스(NVIDIA NeMo microservices)’를 정식 출시했다. 이 마이크로서비스는 AI 에이전트의 성능을 향상시키는 핵심 전략으로 데이터 플라이휠(flywheel) 개념을 도입해 기업이 지속적으로 진화하는 AI 시스템을 효율적으로 구축하도록 설계됐다.
이번 출시로 조직은 AI 에이전트를 단순한 도우미가 아닌, 디지털 팀원(Digital Teammate)으로 실질적인 업무 수행 주체로 활용할 수 있게 된다. 핵심은 반복되는 사용자 상호작용, 추론 데이터, 비즈니스 피드백 등을 선순환 구조로 묶어 AI 모델을 스스로 학습하고 최적화할 수 있는 환경을 제공한다는 데 있다.
현실 세계의 동적 변화에 빠르게 대응할 수 있는 AI를 만들기 위해서는 세 가지 유형의 데이터가 필수적이다. 우선, 사용자의 피드백과 반응으로부터 유의미한 인사이트를 추출할 수 있어야 하고, 최신 비즈니스 정보와 데이터베이스에 실시간 접근이 가능해야 하며, 이를 기반으로 AI가 생성한 결과에 대한 정확한 평가 체계도 필요하다.
네모 마이크로서비스는 이러한 요소를 통합적으로 관리한다. 이를 통해 기업은 AI 에이전트가 단순히 질문에 답하는 수준을 넘어 상황을 해석하고, 예측하며, 실질적인 조치를 제안하는 역량을 확보하게 된다. 즉, 사용자가 AI를 사용할수록 시스템이 더 똑똑해지는 ‘데이터 기반 자기 진화 구조’를 구현하는 것이다.
이번 출시의 가장 큰 강점은 개발자와 기업을 위한 엔드 투 엔드 툴체인 구성이다. 네모 마이크로서비스는 AI 개발의 각 단계를 담당하는 다양한 모듈을 포함하고 있다. 네모 커스터마이저는 LLM의 미세 조정을 지원해 최대 1.8배 높은 훈련 처리량을 제공하며, LoRA 및 SFT 기반 학습을 간소화한다. 네모 이밸류에이터는 단 5번의 API 호출로 모델 성능 평가를 가능케 한다.
네모 가드레일은 정책과 규정을 준수하면서도 0.5초의 응답 지연만으로 보안성을 1.4배 높여준다. 이외에도 리트리버와 큐레이터 기능을 통해 조직 내 흩어진 데이터를 정제하고, 에이전트의 정확도와 응답성을 높이는 데 기여한다.
이미 다양한 글로벌 기업들이 네모 마이크로서비스를 기반으로 AI 에이전트를 활용 중이다. 미국 통신기업 AT&T는 수천 건의 문서로 구성된 지식 기반을 관리하는 데 해당 플랫폼을 도입했으며, AI 정확도는 최대 40% 향상됐다.
투자관리사 블랙록은 자체 플랫폼 ‘알라딘(Aladdin)’에 에이전틱 AI 기능을 탑재해 데이터 기반 의사결정 정확도를 높였고, 시스코는 코딩 어시스턴트를 통해 응답 속도를 10배 이상 개선하고 도구 선택 오류를 절반 이하로 줄였다. 이와 함께 나스닥은 네모 리트리버로 검색 기능을 최적화해 운영 효율성을 극대화했으며, SAP, 서비스나우, 시놉시스 등 다수의 글로벌 IT 기업도 이를 기반으로 업무 자동화를 가속화하고 있다.
네모 마이크로서비스는 라마, 파이, 젬마, 미스트랄 등 다양한 오픈 LLM과의 호환성을 보장한다. 특히 메타의 라마스택과의 통합을 통해 라마 기반 AI 개발자들도 마이크로서비스의 핵심 기능을 그대로 활용할 수 있게 됐다. 또한, 데이터스택스, 데이터독, 데이터이쿠, 클라우데라 등 AI 데이터 및 운영 플랫폼 기업과의 연계를 통해 크루AI, 랭체인, 라마인덱스 등 프레임워크 사용자들도 쉽게 통합 활용할 수 있는 구조를 마련했다.
AI 에이전트가 일상 업무에 깊이 침투하는 가운데, 네모 마이크로서비스는 AI 도입의 효율성과 안정성, 확장성을 동시에 충족하는 해답으로 주목받고 있다. 이 마이크로서비스는 온프레미스 및 클라우드 인프라 모두에서 구동 가능하며, 엔비디아 AI 엔터프라이즈 플랫폼에 포함되어 장기 지원과 보안 인증을 받을 수 있다.
헬로티 서재창 기자 |
