생성형 AI·LLM의 개인정보 유출·모델 탈취·프롬프트 공격 분석
웹 에이전트·AI 브라우저 방어기술 개발…약 3천700만원 지원

KAIST가 마이크로소프트의 글로벌 AI 안전성 연구 프로그램에 국내 대학 가운데 유일하게 참여합니다.

KAIST 전산학부 손수엘 교수가 마이크로소프트 AI 레드팀이 운영하는 '외부 레드팀 연합', EXTRA의 연구지원 대상자로 선정됐습니다.

레드팀은 해커나 악의적인 사용자의 관점에서 AI 시스템을 공격해 보안 취약점과 오작동 가능성을 찾아내는 역할을 합니다. EXTRA는 마이크로소프트가 올해 출범시킨 글로벌 연구지원 프로그램입니다.

기업 내부 인력만으로 AI 위험을 점검하던 방식에서 벗어나 세계 각국의 대학과 연구기관이 독립적으로 안전성을 평가하도록 설계됐습니다.

고도화된 AI 시스템은 사이버보안뿐 아니라 언어와 문화적 차이, 개인정보 침해, 악용 가능성 등 다양한 위험을 동시에 검증해야 합니다. AI가 인간의 의도와 가치에 맞게 작동하도록 만드는 'AI 정렬' 문제도 주요 연구 대상입니다.

마이크로소프트는 단일 기업이나 조직만으로 이러한 위험을 충분히 찾아내기 어렵다고 보고 외부 연구진과의 협력을 확대했습니다.

이번 프로그램에는 6개 대륙의 대학 10여곳이 참여합니다. 국내에서는 KAIST가 유일합니다.

KAIST 연구팀은 미화 2만5천달러, 우리 돈 약 3천700만원을 지원받아 AI 보안과 신뢰성 연구를 진행합니다.

지원금은 과제 수행 기간이나 구체적인 사용 조건을 별도로 정하지 않는 기프트 어워드 방식으로 제공됩니다.

손수엘 교수팀은 생성형 AI와 대규모 언어모델을 대상으로 발생할 수 있는 공격 기법과 개인정보 침해 문제를 연구해 왔습니다.

AI 모델의 구조와 기능을 복제하는 '모델 탈취'와 특정 개인정보가 학습에 사용됐는지를 추적하는 '멤버십 추론' 공격 등이 분석 대상입니다.

학습 데이터에 담긴 개인정보를 빼내거나 입력문을 조작해 AI가 개발자의 의도와 다른 행동을 하게 만드는 프롬프트 주입 공격도 연구합니다.

모델에 학습된 개인정보를 제거하는 탈학습 기술과 공격을 차단하는 방어기술도 개발하고 있습니다.

연구 범위는 실제 서비스에서 작동하는 AI 에이전트까지 확대됩니다.

연구팀은 사용자의 지시에 따라 웹사이트를 탐색하고 업무를 수행하는 웹 에이전트와 에이전틱 브라우저가 외부 공격에도 안전하게 작동하도록 하는 시스템 방어기술을 연구할 계획입니다.

손수엘 교수는 "실제 AI 서비스 환경에서 발생할 수 있는 보안 위협을 체계적으로 분석하고 누구나 안심하고 활용할 수 있는 기술 개발에 기여하겠다"고 말했습니다.