AI 크라우드웍스, 문서 복잡도에 따라 AI 전처리 전략 짠다

비정형 데이터 전처리 과정에서 발생하는 효율성 문제 해결하기 위해 개발 인공지능(AI) 기술이 기업 문서 처리의 효율성을 좌우하는 시대, 문서의 구조적 복잡도를 자동으로 분석해 전처리 전략을 결정하는 기술이 등장했다. 크라우드웍스는 자사의 데이터 전처리 솔루션 '알피 널리지 컴파일러(Alpy Knowledge Compiler)'에 적용된 문서 복잡도 분석 기반 자동화 기술에 대해 특허를 출원했다고 22일 밝혔다. 이 기술은 최근 RAG(Retrieval-Augmented Generation) 기반 AI 에이전트 개발에 필수로 자리잡은 비정형 데이터 전처리 과정에서 발생하는 효율성 문제를 해결하기 위한 것이다. 특히 문서의 구조가 복잡한 경우, 단순 자동화만으로는 전처리 품질이 크게 떨어진다는 점에 착안해 개발됐다. 크라우드웍스에 따르면, 이번 기술은 수십만 페이지에 이르는 대규모 문서 처리 환경에서도 문서별 복잡도를 사전에 분석해 자동화 여부를 결정할 수 있도록 설계됐다. 정량적 기준에 따라 문서를 네 단계(Class 1~4)로 분류한 뒤, 단순 문서는 자동처리를 우선 적용하고 복잡한 문서는 전문가 검토를 병행하는 방식이다. 이를 통해 오류 가능성을 예측하고

• 서재창 기자
• 2025-04-22 09:58