"손잡이·버튼이 무슨 역할인지"…AI도 이해한다 GIST, 물체·부품 위치~기능·행동 파악 로봇 AI 개발 부품 검색 정확도 83.6%…기존보다 31.2%p 성능↑ 김인수 기자 joinus@gwangnam.co.kr

2026년 09월 17일(목) 16:48

(왼쪽부터) GIST AI학과 김의환 교수, 김이룸 석·박사통합과정생.

사람에게는 너무나 당연한 ‘손잡이’와 ‘버튼’의 역할을 인공지능(AI)이 스스로 파악해 로봇의 행동으로 연결할 수 있는 기술이 개발됐다.

광주과학기술원(GIST·지스트)은 AI학과 김의환 교수 연구팀이 주변 물체뿐 아니라 손잡이·버튼 등 세부 부품의 위치와 기능, 가능한 행동까지 이해하는 로봇 AI 기술을 개발했다고 17일 밝혔다.

연구팀이 개발한 기술은 물체와 부품의 위치뿐 아니라 기능과 행동 정보를 하나로 연결하는 ‘통합 3차원 장면 그래프(Unified 3DSG)’를 구축하는 방식이다. 이를 자동으로 생성하는 AI 기술인 ‘OP3DSG(Open-Vocabulary Part-Aware 3D Scene Graph Generation)’도 함께 개발했다.

기존 3차원 장면 그래프는 주로 ‘의자’, ‘전자레인지’ 등 물체 단위의 정보를 표현하는 데 집중해 세부 부품이나 기능까지 이해하는 데 한계가 있었다.

예를 들어 로봇이 전자레인지의 위치를 파악하더라도 문을 열기 위해서는 손잡이를 찾아야 하고, 작동을 위해서는 버튼의 위치와 기능을 알아야 한다. 연구팀은 영상 속 물체와 부품을 함께 파악하고 이들의 공간적·기능적 관계를 연결하는 방식으로 이 같은 문제를 해결했다.

연구팀이 자체 평가 체계인 ‘유니그래프3D(UniGraph3D)’를 활용해 성능을 검증한 결과, 상위 3개 후보 안에 정답 부품이 포함되는 비율은 83.6%로 나타났다. 기존 비교 방법 중 최고 성능인 52.4%보다 31.2%포인트 향상됐다.

물체와 부품 사이의 공간적 관계를 파악하는 성능은 기존 최고 성능보다 7.9%포인트, 기능적 관계를 파악하는 성능은 9.2%포인트 높아졌다.

연구팀은 이동형 로봇 ‘스트레치 3(Stretch 3)’에 해당 기술을 적용해 실제 환경에서의 활용 가능성도 확인했다.

로봇은 주변 의자의 개수를 파악하거나 TV를 켜기 위해 필요한 리모컨을 찾아 이동할 수 있었다. ‘빨래를 정리해 달라’는 지시를 받으면 수건을 찾아 바구니에 넣는 작업 순서를 계획했으며, ‘마실 때 쓸 수 있는 것을 가져다 달라’처럼 물체 이름을 직접 제시하지 않은 지시에도 기능적 관계를 바탕으로 필요한 물체를 찾아 이동 목표를 설정했다.

김의환 교수는 “이번 연구 성과로 서비스 로봇이 복잡한 실제 환경을 이해하고 사람의 자연어 지시를 구체적인 작업 계획과 이동으로 연결하는 기반 기술로 활용될 수 있을 것으로 기대한다”고 말했다.

이번 연구는 김의환 교수가 지도하고 김이룸 석·박사통합과정생이 제1저자로 수행했다. 연구 결과는 지난 8~12일 스웨덴 말뫼에서 열린 국제학술대회 ‘ECCV 2026’에서 발표됐다.

연구는 과학기술정보통신부·정보통신기획평가원 AI Bots 협업 플랫폼 및 자기조직 인공지능 기술개발 사업, 과기정통부·한국연구재단 신진연구자지원사업, 과기정통부·국가과학기술연구회 글로벌 TOP 전략연구단 지원사업의 지원을 받았다.