LG에 따르면 LG사이언스파크가 개발한 AI 프로그램이 AI 학습용 한국어 표준데이터셋 ‘코쿼드(KorQuAD)1.0’ 기계독해 평가에서 95.39점을 받아 1위를 기록했다. 사람이 동일한 독해 문제를 풀었을 때 받은 점수(91.2점)를 뛰어넘는 결과다.
기계 독해는 AI가 ‘질문하고 답하기’를 반복적으로 학습해, 스스로 문제를 분석하고 질문에 최적화된 답안을 찾아내는 기술이다. 예를 들어 “제주도는 대한민국의 남해 상에 위치하는 섬으로 대한민국에서 가장 큰 섬이다. 행정구역 상 제주특별자치도에 속한다. 섬의 면적은 1833.2㎢인데 이는 남한 면적의 1.83%에 해당한다. 2020년 주민등록 인구는 약 67만명으로 대한민국의 섬 중에서 가장 인구가 많다”와 같은 지문을 주고 “제주도에서 살고 있는 사람은?”이라고 물으면 AI가 맥락을 이해해 “67만 명”이라고 대답하는 식이다.
독해 평가는 AI가 약 10분 동안 수천 개의 비정형화된 주관식 질문에 답하는 방식으로 진행되며, 답변의 정밀도와 재현율에 따라 점수를 높게 산출한다.
LG는 향후 해당 기술을 고객 상담 챗봇에 적용할 계획이다. 고도화된 챗봇 서비스는 질문 유형에 따라 정해진 답변을 취사선택해 응대하는 기존 챗봇과 달리 질문 의미를 이해, 사람이 상담하는 것처럼 자연스러운 답변이 가능하다. AI 기술로 한국어 제품 설명서, 웹페이지 등 방대한 양의 길고 복잡한 문서를 빠르고 정확하게 이해해 필요한 핵심 정보를 단시간 안에 찾아낼 수 있기 때문이다.
이번 성과를 낸 LG사이언스파크 AI추진단은 지난 달에도 세계 최고 권위의 컴퓨터 비전 학회인 ‘2020 CVPR(Computer Vision and Pattern Recognition)’이 개최한 ‘연속학습 기술 경연대회’에서 1위를 차지한 바 있다.
연속학습은 이전에 학습한 작업을 잊지 않고 새 작업을 배워 정확도를 높이는 기술로 AI 분야 난제 중 하나로 꼽힌다. LG사이언스파크는 토론토대학과 함께 공동연구팀으로 참가해 아마존, 중국과학원, 도쿄대 등 총 79개팀을 제치고 이 분야에서 우승했다.
LG사이언스파크 AI추진단은 그룹 차원의 AI 전담 조직으로 AI 전략 수립과 선행 기술 연구를 진행하고 있다. LG사이언스파크 배경훈 AI추진단장은 “국내외 공신력 있는 AI평가에서 연속으로 1위를 차지하는 쾌거를 통해 LG의 독보적인 AI 기술력을 입증했다”며 “AI 분야에서 세계적인 경쟁력 확보를 위해 연구 개발 투자를 늘리고 과감한 오픈 이노베이션과 인재 영입 등을 적극 추진하겠다”고 말했다.
‘
[용어] 코쿼드(KorQuAD, The Korean Question Answering Dataset)=코쿼드는 LG CNS가 개발한 AI학습용 한국어 표준데이터셋으로 국내에서 유일한 표준데이터이다. AI 중 언어 지능은 ‘자연어 처리’(NLP)에서 ‘자연어 이해’(NLU)로 진화하고 있다. ‘자연어 이해’는 질문자의 의도까지 파악할 수 있는 능력을 평가하는 것으로, ‘기계독해’(MRC, Machine Reading Comprehension)를 통해 학습한다.
이러한 기계독해 연구는 얼마나 다양한 데이터셋을 확보하는가가 핵심이다. LG CNS는 국내 AI개발자들을 위해 상당한 시간과 인력을 투자, 언어지능 AI 연구에 반드시 필요한 한국어 표준데이터 10만개를 개발하고 이를 무료로 공개했다.
songbk@kukinews.com
