KAIST 김재철AI대학원 최재식 교수 연구팀이 AI가 내부에서 어떤 개념을 어떻게 조합해 판단하는지 회로 단위로 시각화하는 새로운 설명가능 성 인공지능(XAI) 기술을 개발했습니다.

딥러닝 모델에는 이미지 속 작은 특징을 감지하는 '뉴런'(Neuron)이 다수 존재하지만, 실제로는 여러 뉴런이 함께 연결된 '회로'가 하나의 개념을 인식합니다.

그동안 XAI 기술은 주로 "특정 뉴런이 특정 개념을 본다"는 단일 뉴런 중심 설명에 머물렀지만, 연구팀은 AI의 개념 표현 단위를 '뉴런'에서 '회로'로 확장해 해석하는 방식을 제시했습니다.

연구팀이 개발한 세분화된 개념회로 기술은 뉴런 민감도와 의미 흐름 점수를 계산해 색·질감 같은 기본 특징이 어떻게 상위 개념으로 조합되는지를 회로 단위로 자동 추적하고 단계적으로 시각화합니다.

이어 특정 회로에 대한 비활성화 실험 결과, 해당 회로가 담당하던 개념이 사라지고 AI 예측이 달라지는 현상이 나타났습니다.

즉, 회로 단위의 개념 인식 기능을 직접 입증한 것입니다.

이번 연구는 복잡한 딥러닝 모델 내부에서 개념이 형성되는 실제 구조를 세밀한 회로 단위로 드러낸 첫 연구 사례입니다.

이를 통해 AI 판단 근거의 투명성 강화, 오분류 원인 분석, 편향 검출, 모델 디버깅·구조 개선 등 설명가능성 인공지능(XAI) 전반의 실질적인 활용 가능성을 제시한 것으로 평가됩니다.

최재식 교수는 "복잡한 모델을 단순화해 설명하던 기존 방식과 달리, 모델 내부를 세부 회로 단위로 직접 해석한 최초의 접근"이라며 "AI가 학습한 개념을 자동으로 추적·시각화할 수 있음을 보여줬다"고 말했습니다.

이번 연구는 KAIST 김재철AI대학원 권다희·이세현 박사과정이 공동 제1 저자로 참여했으며, 국제 컴퓨터 비전 학술대회(ICCV)에서 10월 21일 발표됐습니다.

TJB 대전방송