“AI 학습시간 70% 단축”…KAIST, GPU 효율 높이는 기술 개발

[헤럴드경제=구본혁 기자] 인공지능(AI) 학습에 걸리는 시간을 최대 70% 가까이 줄일 수 있는 기술이 국내 연구진에 의해 개발됐다. 의료·코딩 등 특정 분야에 특화된 AI 개발에 필요한 시간과 비용을 획기적으로 줄일 수 있을 것으로 기대된다.

KAIST는 전산학부 이재길 교수 연구팀이 AI 학습에 필요한 데이터를 효율적으로 선별하고 여러 그래픽처리장치(GPU)에 분배하는 대규모 언어모델 미세조정 기술 ‘클러스터(CluSTER)’를 개발했다고 2일 밝혔다.

챗GPT와 같은 대규모 언어모델(LLM)을 의료나 코딩 등 전문 분야에 활용하려면 해당 분야의 데이터를 추가로 학습시키는 ‘미세조정’ 과정이 필요하다. 하지만 방대한 데이터를 반복적으로 처리해야 해 막대한 GPU 연산 자원과 시간이 소요된다.

특히 기존 방식은 학습 데이터를 여러 GPU에 무작위로 배분하기 때문에 비슷한 학습 효과를 내는 데이터를 중복 처리하는 비효율이 발생한다. GPU를 많이 사용하더라도 실제 AI 성능 향상으로 이어지지 않는 불필요한 연산이 적지 않다는 의미다.

연구팀은 이 같은 문제를 해결하기 위해 학습 데이터의 양이 아닌 ‘학습 효과’에 주목했다.

클러스터는 각 데이터가 AI 학습에 미치는 영향을 분석해 비슷한 효과를 내는 데이터끼리 묶는 기술이다. 단순히 문장이나 주제가 유사한지를 판단하는 것이 아니라 실제 AI가 학습하는 능력과 정보가 얼마나 비슷한지를 분석한다.

예를 들어 사과 2개와 3개를 더하는 문제와 연필 2자루와 3자루를 더하는 문제는 표현은 다르지만 동일한 덧셈 능력을 학습시킨다. 이처럼 학습 효과가 중복되는 데이터를 구분해 불필요한 반복 학습을 최소화하는 방식이다.

이후 각 데이터 묶음에서 필요한 자료만 선별하고 여러 GPU가 서로 다른 학습 정보를 고르게 처리하도록 배분한다. 학습량은 줄이면서도 AI가 습득해야 할 다양한 정보를 유지하는 것이 핵심이다.

실제 성능도 확인됐다.

연구팀은 코딩·의료 분야 학습 데이터 3종을 활용해 약 70억개와 130억개의 매개변수를 가진 대규모 언어모델을 대상으로 실험을 진행했다.

그 결과 전체 학습 데이터의 약 31%만 사용하고도 AI 성능을 거의 유지하면서 학습시간을 최대 69.6% 단축하는 데 성공했다. 기존 방식으로 10시간 걸리는 학습을 약 3시간 만에 처리할 수 있는 수준이다.

GPU 4개를 사용하는 환경을 중심으로 성능을 검증했으며 GPU 8개를 활용한 환경에서도 기존 방식보다 우수한 결과를 확인했다.

이번 기술은 GPU를 추가로 확보하지 않고도 AI 학습 효율을 높일 수 있다는 점에서 의미가 크다. 특히 자체 데이터를 활용해 고객 상담용 AI나 의료진 업무 지원 AI, 코딩 지원 AI 등을 개발하는 기업과 연구기관의 부담을 줄일 것으로 기대된다.

다만 실제 산업 현장에 적용하기 위해서는 다양한 기업 데이터와 학습 환경에서 추가 검증이 필요하다. 기존 AI 학습 시스템과 쉽게 연동할 수 있도록 소프트웨어를 고도화하는 작업도 남아 있다.

이재길 교수는 “AI 학습의 효율을 높이기 위해서는 GPU를 더 많이 사용하는 것뿐 아니라 어떤 데이터를 학습할지 똑똑하게 선택하는 것도 중요하다”며 “이번 연구는 기존 GPU 자원을 더 효율적으로 활용해 대규모 AI 모델의 학습 부담을 줄일 수 있다는 점에서 의미가 있다”고 말했다.

이번 연구결과는 자연어처리 분야 주요 국제학술대회인 ‘EMNLP 2026’에서 지난 10월 발표됐다.

Google News 에서 헤럴드경제 팔로우