현대인의 콘텐츠 소비 방식은 ‘빠르게’, ‘간단하게’를 추구하고 있습니다. 긴 경기 전체를 보는 것보다, 주요 장면만 요약된 하이라이트 영상의 수요가 급증하고 있죠. 실제로 축구 하이라이트 영상의 조회 수는 전체 경기 영상 대비 최대 20배 이상 높은 경우도 많습니다.
이 글에서는 딥러닝 기반으로 축구 경기 하이라이트를 자동으로 추출해주는 시스템인 DaSH(Deep Learning and Soccer Highlight)를 소개합니다. 시간과 인력을 절감하면서도, 사용자가 원하는 하이라이트를 직접 선택해 제작할 수 있는 혁신적인 시스템입니다.
🎯 연구의 배경과 필요성
- OTT 및 유튜브 중심의 짧은 콘텐츠 소비 증가
- 축구, e스포츠 등 다양한 경기의 하이라이트 수요 폭증
- 하지만 하이라이트 편집은 여전히 수작업 중심, 영상 10분 편집에 4시간 이상 소요되는 비효율
- 이를 해결하기 위한 자동화 시스템 필요
🧠 핵심 아이디어: 이미지 + 오디오를 모두 활용한 하이라이트 추출
기존의 영상 처리 시스템은 대부분 이미지(프레임) 정보만을 활용했습니다. 하지만 DaSH는 여기에 오디오 분석까지 통합하여 ‘관중의 반응’을 반영한 돌발 상황까지 인식할 수 있습니다.
✳️ 구성요소
- Action Spotting 모델: 이미지 정보로 주요 이벤트 감지 (Goal, Card, Substitution, Corner Kick)
- Audio Volume 모델: 오디오 볼륨 급등 분석 → 관중 반응이 큰 장면 자동 포함
- 통합 시스템: 위 두 결과를 병합하여 하이라이트 영상 생성
📦 데이터셋 구성
- 기존 데이터셋: SoccerNet (EPL, 라리가 등 7개 리그, 500개 경기 영상)
- 이벤트 종류: Goal, Substitution, Card (총 6,000개)
- 자체 데이터셋: 2020년 K리그 경기 50개
- 이벤트 추가: Corner Kick 포함 총 4종류
- Annotation: 1,500개 이상
🏗️ 시스템 구조
구성 요소설명
| 이미지 분석 | CNN 기반 ResNet-152 네트워크 사용 |
| Segmentation 모듈 | 이벤트 발생 시점과 점수 추출 |
| 오디오 분석 | 볼륨 급상승 감지, 돌발 이벤트 자동 포함 |
| 사용자 UI | 원하는 이벤트 체크박스로 선택하여 하이라이트 생성 가능 |
🧪 실험 결과 요약
평가 지표ResNet-152 + NetVLAD 조합에서 최고 정확도 (mAP 51.2%)
| 기존 SoccerNet 대비 | 클래스 3개 → 4개 확장, Goal/Cards 등에서 경쟁력 있는 정확도 |
| 사용자 편의성 | UI로 원하는 이벤트 선택 → 영상 자동 생성/저장 가능 |
🔍 기술적 특징 요약
- 멀티모달 접근: 이미지 + 오디오 결합
- Action Spotting 기반 하이라이트 추출
- UI 기반 사용자 맞춤 하이라이트 생성
- 실시간 요약 가능성 및 확장성 보유
💡 결론 및 의의
DaSH는 단순한 기술적 도전이 아닌, 실제 미디어 산업의 문제 해결을 위한 실용적 접근입니다. 이 시스템을 통해 축구뿐 아니라 다양한 스포츠, 나아가 e스포츠나 강의 영상 등에도 확장 가능한 하이라이트 추출 솔루션을 제시할 수 있습니다.
무엇보다, 사용자가 원하는 이벤트만 모아서 자신만의 하이라이트 클립을 만들 수 있다는 점에서 콘텐츠 소비의 패러다임도 바꿀 수 있는 잠재력이 있죠.
✨ 마무리하며
이 연구는 영상 편집 자동화의 미래를 엿보게 해주는 좋은 예입니다. 수작업으로 진행되던 영상 편집의 효율성을 높이고, 다양한 사용자 니즈를 반영한 개인 맞춤형 콘텐츠 생성을 가능하게 합니다.
'좋은 기술 이야기' 카테고리의 다른 글
| 프록시 우회를 하는 이유 (0) | 2025.04.24 |
|---|---|
| 기술로 증명한 준비, 이제는 시장을 향해 나아갈 때입니다 (0) | 2025.04.20 |
| 🧠 하이라이트 추출 기술의 모든 것 (1) | 2025.04.15 |
| 🎬 하이라이트 추출 기술: 영상부터 오디오, 텍스트까지 한눈에 보는 핵심 기술들 (2) | 2025.04.15 |