축구·야구 ‘결정적 순간’ 포착…스포츠 하이라이트 AI 평가법 등장

[헤럴드경제=구본혁 기자] 축구의 극적인 결승골이나 야구의 역전 홈런처럼 스포츠 경기의 결정적 순간을 인공지능(AI)이 얼마나 정확하게 찾아낼 수 있는지 제대로 평가할 수 있는 ‘시험대’가 나왔다. 기존보다 최대 60배 긴 실제 스포츠 중계 영상을 활용해 AI의 장시간 영상 이해 능력을 평가할 수 있다는 점이 핵심이다.

UNIST(울산과학기술원)는 인공지능대학원 김태환 교수 연구팀이 스포츠 영상에서 하이라이트를 추출하는 AI 모델의 성능을 평가하는 대규모 벤치마크 ‘SVHighlights(Sport Video Highlights)’를 구축했다고 13일 밝혔다.

AI 벤치마크는 여러 AI 모델의 성능을 동일한 조건에서 비교하는 일종의 ‘공통 시험지’다. AI가 풀어야 할 문제뿐 아니라 성능을 판단할 정확한 정답도 필요하다.

문제는 기존 스포츠 영상 벤치마크가 대부분 평균 2~4분짜리 짧은 영상에 머물렀다는 점이다. 사람이 영상을 처음부터 끝까지 보면서 하이라이트 구간을 일일이 표시해야 해 영상이 길어질수록 막대한 시간과 비용이 필요했기 때문이다.

연구팀이 구축한 SVHighlights는 축구·야구·농구·배구·미식축구·아이스하키·럭비·레이싱 등 8개 종목, 총 320편의 영상으로 구성됐다. 전체 영상 길이는 640.18시간에 달한다. 영상 한 편의 평균 길이도 약 2시간으로 기존 벤치마크보다 30~60배 길어 실제 스포츠 중계와 비슷한 환경에서 AI 성능을 평가할 수 있다.

대규모 데이터 구축을 가능하게 한 핵심은 방송사 등이 이미 제작해 공개한 ‘공식 하이라이트’다. 전문 편집자가 골라낸 장면을 AI 평가를 위한 정답으로 활용한 것이다.

연구팀은 공식 하이라이트의 각 장면이 전체 경기 영상의 몇 분 몇 초에 등장하는지를 자동으로 찾아주는 매칭 알고리즘도 개발했다. 원본과 하이라이트 영상의 화면을 픽셀 단위로 비교해 가장 유사한 장면을 찾아내는 방식이다.

특히 득점 장면 등이 여러 차례 반복 재생되는 스포츠 중계 특성을 고려해 화면 유사성뿐 아니라 장면의 시간 순서까지 함께 분석했다. 실제 경기 장면 대신 똑같이 생긴 리플레이 화면을 잘못 선택하는 오류를 줄이기 위해서다.

사람이 직접 하는 작업은 영상의 경기 시작과 종료 지점을 표시하고 자동 매칭된 화면을 확인하는 정도로 줄었다. 검수 결과 실제 잘못 연결된 화면은 전체의 0.18%에 불과했다.

연구팀은 이 벤치마크를 활용해 장시간 영상에서 하이라이트를 자동으로 찾아내는 AI 모델 ‘TF-SELECTOR’도 개발했다.

TF-SELECTOR는 장면 분할과 음성인식, 비전언어모델, 대규모언어모델(LLM)을 결합한다. 화면 전환을 기준으로 영상을 나눈 뒤 중계 음성을 문자로 변환하고, 화면 내용과 중계 내용, 소리 크기 등을 종합해 각 구간의 중요도를 판단한다.

SVHighlights를 이용해 성능을 평가한 결과 TF-SELECTOR는 차순위 모델보다 가장 중요한 장면이 실제 하이라이트인지 평가하는 ‘HIT@1’에서 2.50%포인트, 실제 하이라이트를 얼마나 많이 찾아냈는지를 보여주는 ‘HIT@K’에서 4.04%포인트 높은 성능을 기록했다. 예측 구간과 실제 하이라이트 구간의 일치 정도를 나타내는 IoU도 2.95점 높았다.

이번 기술은 스포츠 경기의 자동 하이라이트 제작뿐 아니라 영화·드라마 요약, 회의 기록 정리, 장시간 관제영상에서 주요 장면을 찾는 기술로 확장될 수 있을 것으로 기대된다.

김태환 교수는 “방송사가 이미 만들어 놓은 하이라이트를 활용해 사람이 수 시간을 들여야 했던 정답 생성 작업을 대체했다”며 “데이터를 지속적으로 확대할 수 있어 장시간 영상 분석 AI를 객관적으로 평가하고 더 뛰어난 모델을 개발하는 데 도움이 될 것”이라고 말했다.