딥러닝 기반 이미지 인식 기술이 빠르게 고도화되고 있지만, AI가 내부에서 어떤 기준으로 이미지를 보고 판단하는지는 여전히 명확히 설명하기 어려운 영역으로 남아 있다. 특히 대규모 모델이 ‘고양이 귀’, ‘자동차 바퀴’와 같은 개념을 어떤 방식으로 조합해 결론을 내리는지는 오랫동안 해결해야 할 주요 과제로 제기돼 왔다.

 

KAIST는 김재철AI대학원 최재식 교수 연구팀이 인간이 이해할 수 있도록 AI의 판단 근거를 시각적으로 보여주는 설명가능성(XAI) 분야에서, 모델 내부의 개념 형성 과정을 회로(circuit) 단위로 시각화하는 새로운 XAI 기술을 개발했다고 26일 밝혔다. 이번 연구는 “AI가 어떻게 생각하는가?”라는 질문에 구조적 접근을 가능하게 한 중요한 진전으로 평가된다.

 

딥러닝 모델 내부에는 인간의 뇌처럼 뉴런(Neuron)이라는 기본 계산 단위가 존재한다. 뉴런은 귀 모양, 색상, 윤곽선처럼 이미지의 작은 특징을 감지해 다음 단계로 신호를 전달하는 기능을 한다. 반면 ‘회로(circuit)’는 여러 뉴런이 서로 연결돼 하나의 개념을 함께 인식하는 구조로, 예컨대 ‘고양이 귀’를 인식하기 위해 귀 윤곽·삼각형 형태·털 패턴 등을 감지하는 뉴런들이 함께 작동해 하나의 회로를 형성한다.

 

 

지금까지의 설명 기술은 “특정 뉴런이 특정 개념을 본다”는 단일 뉴런 단위 해석이 대부분이었다. 그러나 실제 딥러닝 모델은 여러 뉴런이 협력하는 회로적 구조로 개념을 형성하며, KAIST 연구팀은 이 점에 주목해 개념 표현 단위를 ‘뉴런→회로’로 확장해 해석하는 방식을 제시했다.

 

연구팀이 개발한 ‘세분화된 개념회로(Granular Concept Circuits, GCC)’ 기술은 이미지 분류 모델이 내부에서 개념을 형성하는 과정을 회로 단위로 분석하고 시각화하는 새로운 방식이다. GCC는 뉴런 민감도(Neuron Sensitivity), 의미 흐름 점수(Semantic Flow)를 기반으로 회로를 자동 추적해 색·질감 같은 기초 특징이 상위 개념으로 조립되는 과정을 단계적으로 보여준다.

 

연구팀은 특정 회로를 잠시 비활성화(ablation)하는 실험을 진행했다. 그 결과 회로가 담당하던 개념이 사라지면서 모델의 예측이 실제로 달라지는 현상이 확인됐다. 이는 해당 회로가 실제로 그 개념을 인식한다는 사실을 직접 입증한 것이다.

 

이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 회로 단위로 드러낸 최초의 연구로 평가된다. 이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향(bias) 검출, 모델 디버깅 및 구조 개선, AI 안전성·책임성 제고 등 설명가능성(XAI) 전반에서 폭넓은 응용 가능성을 열었다.

 

연구팀은 “AI가 내부적으로 구성하는 개념 구조를 사람이 이해할 수 있는 방식으로 보여주는 기술”이라며 “이번 성과는 AI가 ‘어떻게 생각하는지’를 과학적으로 탐구할 수 있는 출발점”이라고 설명했다.

 

최재식 교수는 “복잡한 모델을 단순화해 설명하던 기존 접근과 달리, 모델 내부를 세부 회로 단위로 정밀하게 해석한 최초의 연구”라며 “AI가 학습한 개념을 자동으로 추적하고 시각화할 수 있음을 입증했다”고 말했다.

 

이번 연구에는 KAIST 김재철AI대학원 권다희 박사과정과 이세현 박사과정이 공동 제1저자로 참여했으며, 연구 결과는 10월 21일 국제 학술대회 ICCV(International Conference on Computer Vision)에서 발표됐다.

 

한편 이번 연구는 과학기술정보통신부와 정보통신기획평가원이 지원하는 사람중심핵심원천기술개발사업 ‘플러그앤플레이 방식으로 설명가능성을 제공하는 인공지능 기술 개발 및 인공지능 시스템에 대한 설명 제공 검증’ 과제, AI 연구거점 프로젝트, 한국과학기술원 인공지능 대학원 프로그램 과제, 그리고 방위사업청과 국방과학연구소의 지원으로 한국과학기술원 미래 국방 인공지능 특화연구센터에서 수행됐다.

 

헬로티 이창현 기자 |