최근 그래픽처리장치(GPU)가 인공지능(AI) 체계의 핵심으로 대량 사용되고 있지만, GPU의 메모리는 초병렬 연산으로 대규모 출력데이터가 발생할 때 이를 제대로 처리하지 못하는 한계가 있다.
KAIST는 전산학부 김민수 교수팀이 메모리 용량이 한정된 GPU로도 대량 데이터를 고속으로 전송 및 저장할 수 있는 데이터 처리기술(INFINEL)을 개발했다고 7일 밝혔다.
(왼쪽부터)김민수 교수, 박성우 박사과정, 오세연 ㈜그래파이 연구원. KAIST 이 기술을 활용하면 가정용 PC 수준의 GPU로도 생성형AI와 같은 고난이도 연산과 대규모 출력을 빠르게 수행할 수 있을 전망이다.
GPU는 근본적으로 CPU와 달리 메모리 관리 기능이 매우 제한적이기 때문에 예측할 수 없는 대규모의 데이터를 유연하게 관리하기 어려운 문제가 있다.
최근 AI의 활용이 급속 증가하면서 지식그래프처럼 정점과 간선으로 이뤄진 그래프 구조 데이터 구축과 사용 역시 증가하고 있다.
그래프 구조 데이터에 대해 난이도 높은 초병렬 연산을 수행할 경우 출력 결과가 매우 크고, 각 스레드 출력 크기를 예측하기 어렵다는 문제가 발생한다.
특히 GPU로는 난이도가 높은 삼각형 나열 등 그래프 초병렬 연산을 수행할 수 없다.
김 교수팀이 개발한 ‘INFINEL’ 기술은 GPU 메모리의 일부 공간을 수백 만개 이상의 청크로 나눠 관리하면서 초병렬 연산내용이 담긴 GPU 커널 프로그램을 실행하면서 각 스레드가 메모리 충돌 없이 필요한 청크 메모리를 할당받아 자신의 출력 데이터를 저장하는 것이 핵심이다.
출력 버퍼를 작은 고정 크기를 가진 청크로 나누어 쓰레드 간 쓰기 연산을 충돌 없이 효율적으로 처리할 수 있는 스레드별 청크 할당 기술. KAIST 또 GPU 메모리가 가득 차도 중단되지 않고 초병렬 연산과 결과 출력 및 저장을 지속할 수 있는 것도 특징이다.
이 기술을 사용하면 가정용 PC의 GPU로도 테라바이트급 출력이 필요한 고낭이도 연산을 수행할 수 있다.
연구팀은 INFINEL 기술을 다양한 실험 환경과 데이터 셋을 통해 검증, 종래 최고 성능의 동적메모리 관리자기술보다 55배, 커널을 2번 실행하는 2단계 기술에 비해서는 32배 향상된 연산성능 보였다.
김 교수는 “생성형 AI나 메타버스 시대에 GPU 컴퓨팅의 대규모 출력 데이터를 빠르게 처리할 수 있는 기술이 중요해질 것”이라며 “INFINEL 기술이 그 일부 역할을 할 것으로 기대한다”고 말했다.
