남주한 교수 ‘미래의 바흐, AI’ 주제발표

남주한 카이스트(KAIST) 문화기술대학원 교수.

“음악분야 인공지능(AI) 기술의 핵심은 ‘딥 러닝(Deep Learning)’입니다. 수많은 데이터로 스스로 규칙을 학습한 AI가 음악 작곡부터 연주, 감상까지 모든 분야에 깊숙이 들어오고 있습니다.”

남주한 카이스트(KAIST) 문화기술대학원 교수는 10일 서울 장충동 신라호텔에서 헤럴드주최로 열린 ‘이노베이트 코리아(Innovate Korea) 2019’ 포럼에서 ‘미래의 바흐, AI’를 주제로 한 발표에서 음악 AI의 기술 현황을 이같이 진단했다.

남 교수는 AI가 음악분야에 접목되면서, 단순히 사용자의 명령을 듣고 원하는 음악을 재생 시켜주는 것에서 더 나아가 AI가 음악을 직접 작곡, 연주, 감상하는 분야까지 기술 구현이 가능해졌다고 설명했다.

우선 음악 작곡 분야에서 남 교수는 최근 구글의 AI 작곡 툴인 ‘두들(Doodle)’을 주목했다.

구글은 지난 3월 두들에 단 두 단락의 멜로디를 입력하면 바흐 스타일의 4성부 화음을 자동으로 생성해 바흐 애니메이션 캐릭터가 오르간으로 연주하는 기술을 선보였다. 당시 전 세계 5000만명 이상이 두들에 멜로디를 입력하기도 했다.

두들의 핵심은 ‘코코넷(Coconet)’으로 불리는 AI 알고리즘이 스스로 화성을 학습하는 ‘딥러닝’ 기술에 있다고 남 교수는 강조했다.

남 교수는 “화성학 교과서는 음들 간의 관계에 대한 여러 가지 규칙을 통해서 화성음을 만드는 방법을 가르쳐 준다”며 “반면 코코넷은 이러한 규칙에 대한 지식 없이 이미 만들어진 수많은 예제를 인공 신경망에 학습시켜 화성음을 생성하기 위한 규칙을 스스로 배웠다”고 설명했다.

이어 그는 “현재 급속도로 발전하고 있는 AI는 이러한 데이터 기반의 신경망 학습, 특히 수많은 데이터를 신경망으로 학습 시키는 딥러닝이 핵심 기술”이라며 “음악 분야의 모든 영역에 이같은 딥러닝 기술이 적용되고 있다”고 덧붙였다.

작곡 분야에서 AI가 화성학의 규칙을 스스로 학습했다면, 음악 연주 분야에서는 ‘자동 채보’와 ‘자동 연주’ 두 가지 방식의 AI 기술이 적용되고 있다고 남 교수는 설명했다.

그는 “자동 채보는 주어진 연주에 대해 각 음의 시작과 끝, 세기 등을 인식하는 것”이라며 “주어진 연주를 듣고 정확하게 음을 인식하는 청음 AI는 연주 재현, 연주 분석, 악보 추적 등을 통해 새로운 음원 콘텐츠 제작, 음악 교육에도 적용되고 있는 추세”라고 설명했다.

자동 연주 방식에 대해서는 남 교수는 “주어진 악보를 표현력 있게 연주하도록 AI가 적용된 것”이라고 말했다.

그는 “자동 연주는 주어진 악보를 전문 연주자처럼 템포와 세기를 조절해 감성적으로 표현하는 AI 기술”이라며 “음원 생성, 상호 작용형 연주 시스템 등에 적용된다”고 설명했다.

남 교수는 “최근에는 연주 표현에서 더 나아가 새로운 악기 소리나 노래 목소리를 생성하는 AI 연구까지 활발하게 이뤄지고 있다”고 덧붙였다.

아울러 감상 분야에서는 음원 서비스를 중심으로 AI가 적용되고 있다고 남 교수는 설명했다.

그는 “최근 10여 년 간 음원 서비스가 스트리밍으로 재편되고 수 천 만곡의 음원을 쉽게 접근하게 됐다”며 “사용자의 취향과 상황에 맞게 음악을 검색, 추천하는 것이 중요한 문제가 됐다”고 말했다.

그러면서 “음원으로부터 장르, 무드, 악기 등을 인식하고 분류하는 딥러닝 연구가 매우 활발히 연구돼 왔다”며 “좋아하는 곡과 비슷한 특성을 가지는 곡을 쉽게 검색하고 추천하는 AI 기반 서비스가 해외 뿐 아니라 국내 음원 서비스에도 활발하게 적용되는 추세”라고 설명했다.

AI의 기술이 작곡·연주·감상 분야를 아우르며 고도화되면서, AI가 인간을 대체하는 시대가 도래할 것이라는 의문은 음악 분야에서도 여지없이 제기되고 있다.

하지만 남 교수는 음악의 특성상 AI 기술의 발달에도 인간의 영역은 고유할 것이라고 내다봤다.

남 교수는 “향후 AI가 바흐처럼 이전에 존재하지 않았던 새로운 음악, 감동을 주는 음악을 창작할 수 있을까에 대한 궁금증이 많다”며 “미래를 예측하기 어렵지만 한 가지 분명한 것은 AI가 사람처럼 음악을 듣고 감정을 느끼지 않는 이상, 인간의 역할은 여전히 중요할 것”이라고 말했다.

박세정 기자/