
KAIST 뇌인지과학과 이상완 교수와 생명과학과 정민환 교수 연구팀이 스스로 가설을 세워 검증하는 뇌 기반 인공지능(AI) 기술을 개발했다.
연구팀은 스스로 세운 가설을 바탕으로 다음 상황을 예측하고 확인하는 행동패턴을 동역학적으로 프로파일링 할 수 있는 새로운 방식을 고안, 이를 바탕으로 전통적 강화학습 이론과 최신 AI 알고리즘 모두 동물의 관련 행동을 제대로 설명하지 못한다는 것을 발견했다.
이에 따라 동물의 현재 상황에 대한 가설을 세우고, 가설의 예측 오류를 바탕으로 행동전략을 비대칭적으로 업데이트하는 새로운 적응형 강화학습 이론과 모델을 제안했다.
이 결과 예상치 못한 사건에 대한 동물 행동을 최대 31%, 평균 15% 더 잘 예측했다.
이는 기존 AI 모델이 효율적 문제 해결에 집중하면서 인간이나 동물의 행동을 제대로 설명하지 못하는 현상을 극복한 것으로 큰 의미를 갖는다.
또 연구팀은 중뇌 기저핵 선조체의 중간크기 가시뉴런이 가설 기반 적응형 강화학습 과정에 관여함을 규명했다. 선조체는 기저핵에서 가치평가 및 강화학습 능력에 관여하며, 가시뉴련은 신경활동을 억제하는 세포로 선조체의 약 90%를 차지한다.
실제 직접경로 가시뉴런은 예상한 사건을 마주한 경험을, 간접경로 가시뉴런은 예상치 못한 사건을 마주한 경험을 부호화해 행동전략을 조절했다.
이번 연구는 뇌의 맥락 추론방식이 대규모 AI 모델과 근본적으로 다르다는 것을 제시한다.
현용 챗GPT나 딥시크 등 AI 모델은 사용자 입력으로 맥락 정보를 추정하고 필요한 전문가 시스템에 매칭해 새로운 정보가 들어올 때까지는 이을 옳은 것으로 가정한다.
반면 뇌는 스스로 추정한 가설을 의심하고, 의심이 확인되는 즉시 새로운 맥락을 적극 받아들인다.
이는 과도한 자신감을 보이는 AI의 할루시네이션 현상을 완화하고, 인간과 유사한 추론엔진을 구성할 수 있는 새로운 방향성을 제시한다.
이에 따라 이번 연구결과는 뇌과학-인공지능 융합연구로 인간의 동역학적 행동 프로파일링 기술을 이용해 개인의 가설 수립과 검증 학습능력 분석도 가능함에 따라 맞춤형 교육 커리큘럼 디자인, 인사 및 인력관리, 인간-컴퓨터 상호작용 분야에 바로 적용할 수 있을 것으로 기대된다.
아울러 적응형 강화학습 모델은 뇌처럼 생각하는 AI 기술로 ‘인간-AI 가치정렬' 문제 해결에 활용될 전망이다.
또 이 과정에 관여하는 것으로 알려진 기저핵 내 보상학습회로와 관련된 중독이나 강박증 등 정신질환의 뇌과학적 원인규명에 적용할 수 있다.

이 교수는 “이번 연구는 AI 강화학습 이론만으로 설명할 수 없는 뇌의 가설 기반 적응학습 원리를 밝혀낸 사례”라며 “스스로 의심하고 검증하는 뇌과학 이론을 대규모 Ai시스템 설계와 학습과정에 반영하면 신뢰성을 높일 수 있을 것"이라고 설명했다.
한편, 이번 연구는 KAIST 뇌인지공학 프로그램 양민수 박사과정이 제1저자로, 정 교수가 공동저자, 이 교수가 교신저자로 참여했고, 연구결과는 국제학술지 ‘네이처 커뮤니케이션스(Nature Communications)’ 지난 20일자에 게재됐다.
(논문명: Striatal arbitration between choice strategies guides few-shot adaptation)