[쿠키과학] 보급형 GPU로 고성능 AI 실현한다

최근 거대언어모델(LLM)은 자연어 처리뿐 아니라 그림과 영상을 포함한 멀티모달 학습 등 다양한 분야에서 핵심기능을 수행한다. 그러나 LLM은 수백억 파라미터의 고성능 GPU와 전용 네트워크 등 고비용 인프라를 필요로 하면서 거대기업 중심으로 운용되고 있다. 실제 현재 AI 모델을 학습하려면 개당 수천만 원의 엔비디아 H100과 같은 고성능 GPU를 여러 대 연결하기 위한 400Gbps급 고속 네트워크 인프라가 필요하다. 반면 대다수 연구자들은 소비자용 GPU를 활용하는 경우가 많아 LLM을 단순히 로딩하는 데에도 수십 대의 GPU가 필요... 2024-09-19 16:29 [이재형]

민주당, 부산 금정구청장 보궐선거 선거전 돌입···당지도부 총출동

'김해의 밤' 화려한 불빛에 물들다