질량·속도 추론해 현실 같은 효과음 생성
영화·게임 후반 음향 작업 자동화 가능성 제시

영화 속 공룡이 걸어올 때 울리는 묵직한 저주파음처럼, 사람은 사물의 크기와 무게, 움직임까지 고려해 소리를 예상합니다. 이러한 물리적 감각을 이해하는 인공지능이 개발돼 앞으로 영상에 더욱 현실적인 효과음을 입힐 수 있을 것으로 기대됩니다.

KAIST 전산학부 오태현 교수 연구팀은 POSTECH과 소니 AI 연구진과 공동으로 영상 속 물리 상황을 이해해 보다 현실감 있는 소리를 생성하는 AI 기술 '파바스(PAVAS)'를 개발했습니다.

기존 영상-음향 생성 AI는 화면 속 사물의 형태나 장면 정보 중심으로 소리를 만들었습니다. 하지만 물체의 무게나 속도 같은 물리적 특성까지 반영하는 데는 한계가 있었습니다.

연구팀은 AI가 영상 속 움직임과 주변 환경을 분석해 물체의 질량과 속도를 스스로 추론하도록 설계했습니다. 단순히 '무엇이 보이는지'를 수준을 넘어 '왜 특정한 소리가 발생해야 하는지'에 대한 물리적 원인까지 AI가 이해하도록 만든 것입니다.

실험 결과 파바스는 물체 간 충돌이나 타격 장면에서 실제와 유사한 효과음을 생성했습니다. 특히 물체의 무게와 속도가 달라질 때 소리의 크기와 음색도 자연스럽게 변화하는 것으로 나타났습니다.

연구팀은 최근 생성형 AI가 영상과 음성을 동시에 만드는 방향으로 발전하고 있지만, 실제 콘텐츠 제작 현장에서는 기존 영상에 맞는 효과음을 입히는 후반 작업 수요가 훨씬 크다는 점에 주목했습니다.

구글의 '비오(Veo) 3'나 바이트댄스의 '시댄스(Seedance) 2.0' 같은 기존 생성형 AI가 영상과 오디오를 함께 생성하는 데 초점을 맞췄다면, 파바스는 이미 존재하는 영상의 물리적 상황을 분석해 장면과 정밀하게 맞아떨어지는 음향을 만든다는 점에서 차별성이 있습니다.

연구팀은 이번 기술이 현실 세계의 물리 법칙과 인과관계를 이해하는 '물리적으로 일관된 생성 AI'의 가능성을 보여준 사례라고 설명했습니다.

향후 영화와 광고, 게임의 음향 제작 자동화뿐 아니라 증강현실과 가상현실, 메타버스, 로보틱스 시뮬레이션 등 다양한 분야에서 활용될 가능성이 제시됩니다.

KAIST 오태현 교수는 "기존 생성 AI가 데이터 규모를 키우는 방향으로 발전해왔다면 이번 연구는 AI가 물리량과 인과관계를 직접 이해하도록 설계했다는 점에서 의미가 있다"며 "차세대 멀티모달 AI 핵심 기술로 확장될 수 있을 것"이라고 밝혔습니다.

POSTECH 오현빈 통합과정 학생이 제1저자로 참여한 이번 연구 결과는 컴퓨터 비전 분야 최고 권위 학술대회인 CVPR 2026에서 전체 논문 상위 1% 이내에 해당하는 오랄(Oral) 발표 논문으로 채택돼 오는 6월 6일 발표될 예정입니다.