UNIST, 수술 시뮬레이션 ‘실제처럼’…3D 온라인 슬롯 AI 개발

국내 연구팀이 카메라 영상 하나만으로 양손과 처음 보는 물체 간의 복잡한 상호작용을 실시간 3차원(3D)으로 시각화하는 인공지능(AI) 기술을 개발했다. 이 기술은 손이나 물체가 서로를 가리는 상황에서도 전체 형상을 안정적으로 예측해, 가상현실과 증강현실(VR·AR) 및원격 수술 시뮬레이션의 현실감을높일 수 있을 것으로 기대된다.

9일 UNIST에 따르면인공지능대학원 백승렬 교수팀은 단일 RGB 영상만으로 양손과 미지의 물체가 상호작용하는 모습을 3D로 온라인 슬롯하는 AI 모델 ‘BIGS(Bimanual Interaction 3D Gaussian Splatting)’을개발했다.

손과 물체의 상호작용을 3D로 정밀하게 온라인 슬롯하는 기술은 VR·AR, 로봇 제어 등 다양한 분야의 핵심 기술로 꼽힌다. 하지만 기존 기술은 카메라로 촬영된 2D 영상 정보만으로는 입체적인 형태를 파악하는 데 한계가 있었다. 한 손만 인식하거나사전에 스캔된 특정 물체만 대응 가능했다. 또한 두 손과 물체가 서로를 가리는 복잡한 상황에서는 온라인 슬롯 정확도가 저하되는 문제가 나타났다.

연구팀이 개발한 BIGS는 이런한계를 극복하기 위해 3차원 가우시안 스플래팅(Gaussian Splatting) 기술을 기반으로 한다. 이는 사물의 형상을 경계가 뚜렷한 점이 아닌, 퍼지는 형태의 점 구름으로 표현하는 방식이다. 이를 통해 손과 물체가 만나는 접촉면 등을 더 자연스럽게 표현할 수 있다. 연구팀은 여기에 두 가지 독자적인 해결책을 더했다.

먼저 연구팀은 양손의 모양을 하나의 기준이 되는 손 구조에 맞춰 정렬하는 방식을 도입해, 한쪽 손이 가려져도 다른 쪽 손의 정보를 바탕으로 전체 형상을 안정적으로 추정하는 기능을 더했다. 또다른 비결은 방대한 이미지 데이터로 사전 학습된 이미지 생성 AI를 활용하는 ‘점수 증류 샘플링(SDS)’ 기술이다. 이를 통해카메라에 보이지 않는 물체의 뒷면까지 자연스럽게 예측하여 온라인 슬롯하는 데 성공했다.

덕분에 BIGS는 깊이 센서나 여러 대의 카메라 없이 한 대의 카메라로 촬영한 영상만으로도 복잡한 상호작용을 3D로 온라인 슬롯할 수 있다. 연구팀에 따르면국제 공개 데이터셋(ARCTIC, HO3Dv3)을 활용한 성능 평가에서BIGS는 손의 자세, 물체의 형상, 두 손과 물체 간의 접촉 정보 온라인 슬롯, 화면을 재현하는 렌더링 품질 면에서기존 기술을 상회하는성능을 보였다.

백승렬 교수는 “이번 연구는 단일 영상만으로도 복잡한 손-물체 상호작용을 정확하게 온라인 슬롯할 수 있다는 가능성을 제시한 사례”라며“향후 가상현실 콘텐츠 제작, 원격 로봇 제어, 수술 시뮬레이션 등 다양한 산업 분야에서 실시간 상호작용 온라인 슬롯 기술로 활용될 것으로 기대된다”고 말했다.

이번 연구는 컴퓨터 비전 분야 학회인 ‘CVPR 2025’에서 채택됐다.

/ 육지훈 기자 editor@popsci.co.kr