공동 분류 실험서 작업 시간 23% 감소…IEEE ISMAR 최우수 논문상 3년 연속 수상
가상현실(VR)에서 한 사람만 느낄 수 있었던 물체의 촉감을 다른 사람도 시각적으로 파악할 수 있는 기술이 개발됐다. 사용자마다 보유한 장비가 달라도 동일한 정보를 공유할 수 있어 가상공간 내 공동 작업의 효율성을 높일 것으로 기대된다.
KAIST는 메타버스대학원 우운택 교수가 이끄는 유비쿼터스 가상현실 연구실(UVR Lab)이 가상 손의 윤곽선과 움직임을 활용해 물체의 거칠기를 시각적으로 전달하는 기술을 선보였다고 3일 밝혔다.
이번 연구는 국제 가상융합 학술대회인 'IEEE ISMAR 2026'에서 최우수 논문상(Best Paper Award)을 수상했다. 연구팀은 2024년 첫 수상 이후 올해까지 3년 연속 해당 분야에서 최고 논문상을 받는 성과를 거뒀다.
가상현실을 활용한 공동 작업에서는 참여자가 사용하는 장비에 따라 경험하는 정보의 차이가 발생한다. 촉각 장치를 착용한 사용자는 손끝의 진동 등을 통해 가상 물체의 표면 상태를 느낄 수 있지만, 별도 장비가 없는 사용자는 시각 정보에 의존할 수밖에 없다. 이처럼 동일한 공간에서 작업하더라도 감각 정보가 서로 다르면 물체를 판단하고 분류하는 과정에서 협업의 한계가 생길 수 있다.
연구진은 이러한 문제를 해결하기 위해 촉각 정보를 시각적 표현으로 전환하는 방식을 고안했다. 가상 손의 외곽선 형태와 움직임에 변화를 줘 물체의 표면 거칠기를 낮음·중간·높음 등 세 가지 수준으로 나타내는 기술이다.
이를 활용하면 촉각 장치를 보유하지 않은 참여자도 상대방의 손에 나타나는 시각적 단서를 통해 물체의 질감을 간접적으로 이해할 수 있다. 별도의 촉각 장비 없이도 협업에 필요한 정보를 공유할 수 있도록 한 것이 핵심이다.
기술의 효과를 검증하기 위해 연구진은 사전 실험 두 차례를 실시한 뒤, 총 48명을 대상으로 공동 작업 실험을 진행했다. 참여자들은 촉각 장치 착용 여부에 따라 2명씩 24개 팀으로 나뉘어 가상공간에서 물체를 분류했다.
실험 결과, 양측 참여자의 가상 손에 거칠기 정보가 시각적으로 제공된 경우 관련 정보가 표시되지 않았을 때보다 작업 소요 시간이 약 23% 단축됐다. 물체 분류의 정확도 역시 높은 수준을 유지했다.
특히 촉각 장비가 없는 참여자들은 자신의 가상 손을 통해 거칠기 정보를 확인할 수 있을 때 판단에 대한 확신이 높아졌으며, 공동 작업에 실질적으로 기여하고 있다는 인식도 긍정적으로 나타났다.
이번 성과는 가상현실 협업에서 모든 참여자에게 동일한 장비를 제공하지 않더라도 감각 정보를 효과적으로 공유할 수 있다는 가능성을 제시했다는 점에서 의미가 크다. 단순히 촉각을 시각으로 바꾸는 데 그치지 않고, 정보를 어느 참여자에게 전달하느냐에 따라서도 협업 성과가 달라질 수 있다는 점을 실험으로 확인했다.
연구진은 향후 이 기술이 XR 기반 교육과 실습, 산업 현장의 가상훈련, 원격 공동 작업 등 다양한 분야에 적용될 수 있을 것으로 보고 있다. 서로 다른 장비와 환경을 사용하는 사람들도 가상공간에서 동등한 정보를 바탕으로 소통하고 작업할 수 있는 기반이 될 전망이다.
연구팀은 앞서 2024년 혼합현실(MR) 기반 원격 협업 연구로 최우수 논문상을 받았으며, 2025년에는 공간 공유와 시각·촉각 경험을 주제로 한 논문 두 편이 동시에 수상작에 선정됐다. 올해까지 수상 성과를 이어가며 가상융합 분야에서 연구 역량을 입증했다.
우운택 교수는 "3년 연속 수상은 정부의 가상융합 인재 양성과 연구지원, KAIST의 연구 인프라, 젊은 연구자들의 융합적 노력이 함께 만들어낸 결과"라며 "XR과 AI 기술을 접목해 시간과 공간의 한계를 넘어 지식과 경험을 나누고, 현실의 문제를 해결하는 연구를 지속하겠다"고 밝혔다.
이번 연구에는 백민주 KAIST 문화기술대학원 박사과정생(메타버스대학원 이수)이 제1저자로 참여했으며, 신윤석·이현진·윤보람·윤상호·우운택 연구진이 공동으로 수행했다.
연구 결과는 국제학술지 'IEEE Transactions on Visualization and Computer Graphics(TVCG)'에 게재 승인됐으며, IEEE ISMAR 2026에서 발표됐다. 논문은 지난 10월 6일 최우수 논문으로 선정됐다.
