국내 연구진이 주변 환경을 기억하고 필요한 정보를 직접 확인한 뒤 행동하는 로봇 인공지능(AI) 기술을 개발했다.

불확실한 상황에서 임의로 답을 추론하는 대신 저장된 환경 정보를 능동적으로 조회하도록 설계해 복잡한 작업의 수행 능력을 높인 것이 특징이다.

한국전자통신연구원(ETRI)은 광주과학기술원(GIST)과 공동으로 환경 관측과 기억 검색을 결합한 AI 에이전트 기술 ‘씬쿼리플래너(SceneQueryPlanner)’를 개발했다고 26일 밝혔다.

연구 결과는 자연어처리 분야 국제학술대회인 ‘EMNLP 2026 Findings’에서 지난 25일 발표됐다.

최근 대형언어모델(LLM)을 활용한 로봇은 사람의 지시를 이해하고 여러 단계로 구성된 작업을 수행할 수 있다.

하지만 실제 생활공간에서 물건을 분류하거나 가전제품을 제어하려면 물체의 종류뿐 아니라 재질과 작동 상태, 다른 사물과의 위치 관계까지 파악해야 한다.

여러 공간을 이동하는 경우 앞서 관찰한 정보도 정확하게 기억해야 한다.

기존 AI 에이전트는 주변 환경에서 수집한 정보를 긴 문장 형태로 한꺼번에 처리하는 경우가 많았다.

정보가 누적될수록 필요한 내용을 놓칠 수 있고, 확인되지 않은 정보가 부족하면 언어모델의 사전 지식에 의존해 잘못된 판단을 내릴 가능성도 있었다.

연구진은 이러한 문제를 개선하기 위해 주변 공간을 구조화된 형태로 저장하는 ‘3차원 장면 그래프(3D Scene Graph)’를 도입했다.

방과 가구, 개별 물체의 위치는 물론 재질과 열림·닫힘, 전원 작동 여부 등의 속성을 서로의 관계와 함께 기록하는 방식이다.

새로운 환경을 관찰하면 저장된 정보도 갱신된다.

이 기술의 핵심은 기억을 단순히 보관하는 데 그치지 않고 작업에 필요한 내용을 선별해 활용한다는 점이다.

씬쿼리플래너는 로봇이 직접 주변을 살펴보는 ‘환경 그라운딩(Environment Grounding)’과 저장된 기억에서 필요한 정보를 검색하는 ‘메모리 그라운딩(Memory Grounding)’을 결합했다.

이를 통해 로봇은 현재 알고 있는 정보만으로 작업을 진행할지, 추가 관찰이나 기억 검색이 필요한지를 판단할 수 있다.

모든 정보를 반복해서 읽는 대신 현재 임무와 관련된 물체의 특성이나 위치 정보를 선택적으로 찾아 작업 계획에 반영하는 것이다.

예를 들어 식탁 위 유리컵은 선반에, 플라스틱 컵은 캐비닛에 정리하라는 지시를 받으면 로봇은 먼저 대상 물체를 확인한다. 이후 저장된 기억에서 컵의 재질을 조회해 종류를 구분하고, 각각 지정된 장소로 옮기는 순서로 작업을 수행한다. 물체의 재질을 임의로 판단하지 않고 관측·저장된 정보에 근거해 행동하도록 한 것이다.

연구진은 성능 검증을 위해 가정환경에서의 복합적인 작업 수행 능력을 평가하는 벤치마크 ‘앳플랜-벤치(AttPlan-Bench)’도 개발했다.

평가 항목에는 여러 방을 오가며 물건을 옮기는 작업과 가열·냉각, 청소, 전자기기 제어 등 10가지 유형의 임무가 포함됐다.

특히 물체의 재질과 상태, 공간 내 위치 관계를 정확히 파악해야 해결할 수 있는 과제도 별도로 구성했다.

실험 결과 씬쿼리플래너는 오픈소스 모델과 상용 모델 모두에서 기존 ‘ReAct’ 방식보다 높은 작업 성공률을 기록했다.

메타의 라마 3.1은 성공률이 46.8%에서 69.6%로 22.8%포인트 상승했고, 알리바바의 큐원 2.5는 44.0%에서 68.0%로 24%포인트 높아졌다.

오픈AI의 GPT-4o에서도 모든 평가환경에서 기존 방식보다 우수한 성능을 보였으며, 속성 기반 복합작업의 성공률은 17.2%포인트 개선됐다.

이번 연구는 로봇의 기억 능력을 단순한 정보 저장에서 필요한 정보를 스스로 검색하고 검증하는 단계로 확장했다는 데 의미가 있다.

실제 생활공간에서는 물체의 상태가 바뀌거나 관측 정보가 불완전할 수 있는 만큼, 이러한 능력은 로봇의 판단 정확성과 작업 신뢰성을 높이는 데 활용될 수 있다.

최재우 ETRI 소셜로보틱스연구실 선임연구원(UST 인공지능 전공 조교수)은 "로봇이 관측한 환경 정보를 체계적으로 저장하고 필요할 때 직접 찾아 활용하도록 한 것이 이번 기술의 핵심"이라며 "앞으로 실제 생활환경에서도 로봇이 불확실한 내용을 추측하기보다 경험과 기억을 확인해 안정적으로 행동하도록 기술을 발전시키겠다"고 말했다.

김의환 GIST 교수는 3차원 장면 그래프를 활용해 공간과 물체의 관계를 구조화하고, AI 에이전트가 필요한 정보를 직접 질의해 활용하도록 했다는 점을 연구의 주요 성과로 꼽았다.

연구진은 씬쿼리플래너의 소스코드와 앳플랜-벤치 평가 자료를 공개해 관련 분야의 후속 연구를 지원할 예정이다.

향후에는 카메라와 각종 센서가 수집하는 정보가 불완전하거나 불확실한 실제 로봇 환경으로 기술 적용 범위를 넓힐 계획이다.

가정·돌봄·서비스 로봇 등 스스로 주변을 인식하고 판단해야 하는 피지컬AI 분야에서 활용 가능성이 기대된다.

이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP), 국가과학기술연구회(NST), 한국연구재단(NRF) 등의 지원을 받아 수행됐다.

고수연 기자 다른기사 보기