국내 연구진이 대형언어모델(LLM)을 기반으로 만든 절차의 성능을 자동 평가하는 기술을 세계 최초로 개발했다.
이에 따라 대형언어모델을 이용한 로봇 작업계획 기술의 성능평가 시간 및 비용을 대폭 줄일 수 있어 인공지능 탑재 로봇 개발도 한층 빨라질 전망이다.
한국전자통신연구원(ETRI)은 대형언어모델 절차수행 결과가 지시한 명령을 잘 달성했는지에 대한 절차이해기술 성능을 자동 평가하는 로타벤치마크(LoTa-Bench) 기술을 세계 최초로 개발했다고 7일 밝혔다.
로타벤치마크 기술을 개발한 ETRI 연구진(왼쪽부터 옹효빈 UST학생연구원, 윤영우 책임연구원, 최재우 선임연구원, 장민수 책임연구원). ETRI 이 기술은 사람이 말로 작업을 명령하면 스스로 작업 절차를 이해하고 계획을 수행하는 절차생성 인공지능의 성능을 자동 평가하는 것으로, 이를 통해 대형언어모델을 이용한 로봇 작업계획 생성기술의 성능평가 시간 및 비용을 대폭 줄일 수 있다.
최근 대형언어모델은 사람의 명령을 이해하고 하위작업을 스스로 수행해 목표를 달성하는 절차 이해 영역에서도 우수한 성능을 보이고 있다. 이에 따라 대형언어모델을 로봇 응용 및 서비스 구현에 적용하려는 시도가 폭넓게 진행 중이다.
하지만 현재까지 절차 이해 성능평가를 자동으로 할 수 있는 벤치마크 기술이 없어 사람이 직접 평가했기 때문에 많은 노력과 시간이 필요했다.
실제 구글의 세이캔(SayCan)을 비롯한 기존 연구는 여러 사람이 직접 작업 수행결과를 관찰하고 성공 또는 실패 여부를 투표하는 방법을 적용, 많은 시간이 소요되는데다 평가자의 주관적 판단이 개입하는 것도 문제로 지적됐다.
ETRI 연구진이 개발한 로타벤치마크 기술은 사용자 명령에 따라 대형언어모델이 생성한 작업 절차를 실행하고, 결과가 지시한 목표와 같은지 자동으로 비교해 성공 여부를 판단하기 때문에 시간과 비용을 최소화하고 최적의 객관적 결과를 얻을 수 있다.
로타벤치마크 구조. ETRI 연구진은 로타벤치마크 성능을 미국 알렌인공지능연구소(AI2-THOR)와 MIT 버츄얼홈(VirtualHome) 가상 시뮬레이션 환경에서 ‘전자레인지에 차갑게 식힌 사과를 넣어라’는 일상적 작업명령을 내리고 각 절차를 포함하는 데이터셋으로 검증했다.
다양한 대형언어모델의 절차생성 성능 평가 결과. ETRI 또 연구진은 새로운 절차 생성방법을 쉽고 빠르게 검증할 수 있는 로타벤치마크기술의 이점을 활용, 데이터 훈련으로 절차 생성 성능을 개선할 수 있는 컨텍스트 내 예제 선별법(In-Context Example Selection)과 피드백 기반 재계획(Feedback and Replanning) 등 두 가지 전략을 개발했다.
ETRI는 이번에 개발한 기술을 오픈소스로 공개, 기업이나 학교 등에서 자유롭게 활용함으로써 관련 기술발전을 앞당길 수 있을 것으로 기대하고 있다.
장민수 ETRI 소셜로보틱스연구실 책임연구원은 “로타벤치마크는 절차 생성 AI 개발의 첫걸음으로, 향후 불확실한 상황에서 작업 실패를 예측하거나 사람에게 질문하며 도움을 받아 지능을 개선하는 기술을 개발할 계획”이라며 “1가구 1로봇 시대 구현을 위해 이번 기술이 반드시 필요하다”고 말했다.
또 김재홍 ETRI 소셜로보틱스연구실장은 “ETRI는 실세계에서 각종 임무 계획을 생성하고 실행할 수 있는 로봇을 실현하기 위해 파운데이션 모델을 활용한 로봇 지능고도화 연구개발에 매진하고 있다”고 설명했다.
한편 이번 연구결과는 과학기술정보통신부와 정보통신기획평가원(IITP)의 ‘사람중심 인공지능 핵심원천기술 개발 사업’ 일환으로 수행됐다.
