LLM 기반 뉴스 서비스 상용화 신뢰성 강화하는 모델로 주목
비큐AI가 개발한 뉴스 특화 LLM+RAG 모델 ‘RDP 1’이 국제 평가 프레임워크인 RAGAS(RAG Assessment Scores)에서 전 항목 평균 0.9 이상, 일부 항목에서는 0.95에 달하는 높은 평가를 받으며 기술적 완성도를 공식 입증했다.
최근 비공개 베타 테스트(CBT)를 마무리한 RDP 1은 사실 기반 뉴스 응답의 정확성과 신뢰성을 자동으로 검증받은 첫 사례 중 하나로, LLM 기반 뉴스 서비스 상용화의 신뢰성을 강화할 수 있는 모델로 주목된다.
RAGAS는 생성형 AI 모델이 문서 기반 질문에 대해 얼마나 정확하고 관련성 있는 응답을 생성하는지를 평가하는 오픈소스 프레임워크다. 기존 BLEU, ROUGE 등 텍스트 생성 지표가 담보하지 못했던 사실성(Factuality)과 응답의 맥락 일치도(문맥성)를 정량적으로 분석할 수 있다는 점에서 Microsoft, AWS, Meta, OpenAI 등 글로벌 빅테크 기업들이 RAG 시스템의 성능 검증 수단으로 채택하고 있다.
RAGAS는 생성 응답의 충실성, 질문-응답 간 관련성, 문맥 내 정답 위치 정확도, 문맥 내 정답 정보 포괄성 등 네 가지 주요 지표를 중심으로 평가를 수행한다. ‘RDP 1’은 이 모든 항목에서 기준치를 크게 웃도는 점수를 획득하며 주목을 받았다. 특히 Answer Relevance 0.8881점, Context Recall 0.9222점은 기존 RAGAS 논문 벤치마크 대비 각각 0.1081점, 0.2222점 향상된 수치다. 여기에 Context Precision은 0.9697점, Faithfulness도 0.8533점을 기록하며 전체적인 성능의 균형과 응답의 신뢰도 측면에서도 안정적인 결과를 보였다.
비큐AI 측은 RDP 1이 단순한 뉴스 요약 기능을 넘어, 실제 뉴스 문맥에 기반한 정합성 높은 자동 응답 시스템으로 자리매김할 수 있다는 점에서 의미 있는 진전을 이뤘다고 평가했다. 특히 원문 왜곡 없이 정보 본질에 충실한 응답을 제공함으로써, 언론과 미디어 산업뿐 아니라 고신뢰 정보를 필요로 하는 금융, 증권, 통신, 자동차, 플랫폼 산업 등 다양한 분야로의 확장 가능성을 확인했다고 밝혔다.
이 같은 성과의 기반에는 비큐AI가 자체 개발한 실시간 데이터 파이프라인 플랫폼 ‘RDPLine’이 있다. 현재 글로벌 뉴스 데이터뿐만 아니라 다양한 산업 데이터를 실시간 수집·처리하며, 이를 통해 뉴스 기반 대화형 AI 서비스를 각 산업군에 맞게 연동하는 기술적 토대를 확보하고 있다.
비큐AI는 향후 금융, 빅테크, 인포테인먼트, 언론 플랫폼 등과의 협업을 통해 RDP 1을 다양한 디바이스 및 서비스에 적용해나갈 계획이다. 뉴스 데이터를 단순 소비에서 벗어나 맥락 기반 응답으로 진화시키는 RDP 1의 역할에 업계 관심이 모이고 있다.
헬로티 서재창 기자 |
