- KISTI 미들웨어 ‘빅데이터 익스프레스’ 개발
- 기존보다 전송속도 1/3 단축 

[헤럴드경제=구본혁 기자] 한국과학기술정보연구원(KISTI)은 미국 페르미국립가속기연구소와 공동으로 기존보다 빠른 속도로 대용량 과학데이터를 전송하는 미들웨어 ‘빅데이터 익스프레스’를 개발했다고 15일 밝혔다.

빅데이터 익스프레스를 통해 대형 연구장비를 비롯한 과학기술분야 대용량데이터 공유가 신속하게 이뤄질 수 있어 국내 연구자들은 관련 데이터를 손쉽게 전송하거나 받을 수 있게 될 전망이다. 

KISTI 연구원들이 빅데이터 익스프레스 미들웨어 설정을 점검하고 있다.[제공=KISTI]

최근 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급(PB)으로 증가함에 따라 단일 기관에서 대용량 데이터 처리가 불가능해 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 요구되고 있다.

빅데이터 익스프레스는 대용량 과학데이터를 신속하고 효율적으로 전송하는 기술로 기존 데이터 전송방법이 지녔던 비효율성과 상호간섭을 최소화시켰다.

KISTI 자체 테스트에 따르면 과학데이터 전송에 자주 사용되는 그리드FTP 보다 3분의1 정도 높은 성능을 보였으며, 약 100배 가량 빠른 전송 속도를 구현했다.

빅데이터 익스프레스 미들웨어는 14일 미국 덴버에서 열린 ‘슈퍼컴퓨팅 컨퍼런스 2017’에서 한국-미국 간 데이터 전송을 성공적으로 시연했다.

노서영 KISTI 대용량데이터허브실장은 “거대과학에서 요구되는 대형 실험장비 및 관측장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다”며 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다”고 밝혔다.

nbgkoo@heraldcorp.com