AI 보안의 중요성이 날로 커지는 가운데, 국내 AI 보안 기업 에임인텔리전스가 세계적인 AI 연구기업 앤트로픽(Anthropic)의 비공개 AI 모델을 정밀 진단하며 실력을 입증했다.
서울대학교 전기정보공학 석사 출신 유상윤 대표가 이끄는 에임인텔리전스는 레드팀 테스트를 통해 AI 모델의 취약점을 분석하고 글로벌 AI 보안 시장에서 경쟁력을 강화하고 있다.
앤트로픽은 최근 AI 보안 강화를 위해 새로운 버그 바운티(Bug Bounty) 프로그램을 도입했다. 에임인텔리전스는 해당 프로그램에 초청받아 AI 모델의 악용 가능성을 방지하는 최신 방어 시스템을 점검하고 사전에 보안 취약점을 찾아내는 데 집중했다. 특히, CBRN(화학, 생물학, 방사능, 핵)과 관련된 10개 금지 질문을 설정해 AI 모델이 얼마나 정확히 대응하는지 평가하는 과정을 수행했다. 전 세계에서 초청된 해커 중 약 20명만이 2개 이상의 문제를 우회하는 데 성공했으며 에임인텔리전스의 박하언 연구원이 이에 포함되며 탁월한 보안 분석 능력을 인정받았다.
에임인텔리전스는 AI 모델이 내장한 보안 기능을 우회할 수 있는 방법을 탐색하며 기존의 방어 체계를 뚫는 새로운 기법을 실험했다. 이러한 연구 결과는 AI 보안성 강화를 위한 핵심 자료로 활용됐으며 이후 앤트로픽은 이를 기반으로 AI 안전성을 높이기 위한 ‘Constitutional Classifier’ 논문을 발표했다. 이 논문은 AI 모델이 보다 정교하게 위험한 질문을 감지하고 대응하는 방안을 제시하며 향후 AI 보안 연구의 중요한 기준으로 자리 잡았다.
특히, 에임인텔리전스가 새롭게 개발한 ‘AIM Supervisor’는 AI 보안 점검을 자동화하는 솔루션으로 기업들이 자사 AI 서비스의 신뢰성을 보다 쉽게 검증할 수 있도록 설계됐다. AIM Supervisor는 AI 모델을 대상으로 자동 레드팀 공격을 수행해 보안 취약점을 사전에 탐지하는 기능이 강점이다. 이를 통해 기업들은 AI 모델이 실전 환경에서도 안전하게 운영될 수 있도록 대비할 수 있다.
에임인텔리전스 관계자는 “국내 최초로 AI 서비스의 신뢰성 검증 프로세스를 자동화했다”며 “탐지된 취약점 유형을 자동 차단하는 기능을 통해 기업들이 보다 강력한 보안 체계를 구축할 수 있도록 지원하겠다”라고 밝혔다. AIM Supervisor는 100만 개 이상의 평가 질문을 자동 생성해 기존 보안 전문가들이 수작업으로 점검해야 했던 부담을 크게 줄였다. 또 평가 목적과 요구사항, 난이도, 실제 서비스 환경을 반영한 정밀한 검증이 가능하도록 설계됐다.
이러한 기술력을 바탕으로 에임인텔리전스는 국내 주요 AI 기업들과 협업을 강화하고 있다. KT의 ‘LLM 믿음’, SKT의 ‘AI Care LLM’, LG의 ‘엑사원’ 등 국내 대표적인 AI 프로젝트들이 에임인텔리전스의 보안 점검을 거쳤다. 금융과 의료 분야에서도 KB국민카드, 우리은행, 분당서울대병원 등과 협력해 AI 보안 진단과 레드팀 테스트를 진행하며 신뢰를 쌓아가고 있다.
헬로티 김재황 기자 |
