- 448GB 서버로 1.8TB 유전체 분석 성공

ETRI 연구진이 EMP가 적용된 서버의 메모리 사용 현황을 점검하고 있다.[ETRI 제공]
ETRI 연구진이 EMP가 적용된 서버의 메모리 사용 현황을 점검하고 있다.[ETRI 제공]

[헤럴드경제=구본혁 기자] 인공지능(AI) 확산으로 데이터센터의 메모리 부족 문제가 심화되는 가운데 국내 연구진이 서버마다 남는 메모리를 서로 빌려 쓰는 기술을 개발했다.

한국전자통신연구원(ETRI)은 자체 개발한 데이터센터 메모리 공유 소프트웨어 ‘EMP(Elastic Memory Platform)’를 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터의 500노드 규모 고성능컴퓨팅(HPC) 클러스터에 적용했다고 19일 밝혔다.

ETRI가 개발한 EMP는 데이터센터 메모리 부족 문제를 소프트웨어로 해결한다.

여러 서버에 흩어진 메모리를 초고속 네트워크로 연결해 하나의 공유 자원처럼 활용하는 방식이다. 메모리가 부족한 서버는 다른 서버에서 사용하지 않는 메모리를 가져와 대규모 연산 작업을 수행할 수 있다.

연구팀은 약 1.8TB의 메모리가 필요한 유전체 분석 작업을 자체 메모리 용량이 448GB에 불과한 서버에서 실행하는 데 성공했다.

서버가 보유한 메모리는 전체 필요 용량의 약 4분의 1 수준이었지만, 인피니밴드(InfiniBand) 초고속 네트워크를 통해 다른 서버의 유휴 메모리를 활용하면서 부족한 용량을 확보했다.

특히 기존 응용 프로그램의 소스코드를 수정하지 않고도 사용할 수 있다.

연구팀은 HPC 분야에서 널리 사용되는 작업 스케줄러 ‘슬럼(SLURM)’과 EMP의 연동을 완료했다. 연구자들은 기존 방식대로 작업을 제출하면서 필요할 때 확장된 메모리를 활용할 수 있다.

ETRI 연구진이 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC) 데이터센터에서 EMP 적용 환경에 대해 논의하고 있다.[ETRI 제공]
ETRI 연구진이 미국 서던캘리포니아대학교(USC) 첨단연구컴퓨팅센터(CARC) 데이터센터에서 EMP 적용 환경에 대해 논의하고 있다.[ETRI 제공]

웹 기반 HPC 사용자 인터페이스인 ‘오픈온디맨드(Open OnDemand)’와의 연동도 추진하고 있다.

성능 시험에서는 USC CARC가 요구한 바이오 분야 응용 프로그램을 대상으로 기존 시스템 대비 단위 메모리당 최대 2.3배 높은 성능을 달성했다.

ETRI는 향후 USC의 계산생물학과 지구환경과학, 의과대학 연구진 등과 함께 유전체 어셈블리, 메타유전체 분석, 단백질 분석, 기상 예측 등으로 실증 범위를 확대할 계획이다.

국내 HPC 센터와 대학, 연구기관에도 기술 적용을 추진한다. 특히 메모리 수요가 급증하는 AI 데이터센터를 대상으로 사업화를 모색할 방침이다.

고광원 ETRI AIDC연구본부장은 “EMP는 기존 서버의 유휴 메모리를 공유해 개별 서버의 메모리 용량 한계를 극복하고 대규모 연산을 수행할 수 있도록 하는 기술”이라며 “미국 대규모 데이터센터에서 확보한 실증 경험을 바탕으로 국내 AI 데이터센터의 자원 활용 효율을 높이는 핵심 시스템 소프트웨어로 발전시키겠다”고 말했다.


nbgkoo@heraldcorp.com
Google News Icon
Google News 에서 헤럴드경제 팔로우